今日学习一下音视频的基础知识，日常工作中都会接触到音视频的开发，比如现在工作中都会涉及到 TSPlayer、IjkPlayer、MediaPlayer 供给播映才产品规划专业干，接口测验的流程和步骤不论是什么 Player，其上层调用都是截然不同，但开源阅览app下载安装是详细结束以及能够支撑的才华各不相同，要想持续深化就必须深化音视频的学习，Android 开发的几个首要方向分别是运用、Framework、软件测验音视频、N开源阅览D产品介绍K等，假定持续在 Android 领域，这些坑仍是是必需求填的，首要内容软件技能专业如下：

  1. 视频编码
  2. 音频编码
  3. 多媒体播产品规划专业放组件
  4. 帧率
  5. 分辨率
  6. 编码格局
  7. 封装格局
  8. 码率
  9. 颜色空间
  10. 采接口和抽象类的差异样率
  11. 量化精度
  12. 声道

视频编码

视频编码指的是经过特定的紧缩技能，将某个视频文件格局转换为另一种视频格局文件的方法，视频传输中首要编解码规范如下：

  • 运动停产品司理止图画专家组的 M-JPEG

    • M-JPEG 是一种图画紧缩编码规范，是 Motion-JPEG 的简称，JPEG 规范首要是用来开源众包处理中止图画，而产品运营 M-JPEG 把运动的视频序开源节流是什么意思是什么列作为连续的中止图画来处理，这种紧缩方法独自无缺算法的三种根本结构地紧缩每一帧，在修正进程中可随机存储每算法的时刻复杂度是指什么一帧，可进行准确到帧的修正，M-JPEG 只对帧内的空间冗余进行紧缩，不对帧间的时刻冗余进开源我国行紧缩，故紧缩功率不高。

  • 国际规范化安开源节流是什么意思是什么排(ISO)运动图画专家组的 MPEG 系列规范

    • MPEG 规范首要有五个：MPEG-1、MPEG-2、MPEG-4、MPEG-7 及 MPEG-21 等，M产品规划PEG 规范的视频紧缩编码技能首要运用了具有运动补偿的帧间紧缩编码技能以减小时刻冗余度，运用 DCT 技能以减小图画的空间冗开源余度，运用熵开源矿工编码则在信息标明方面减小了核算冗余度。这几种技能的概括运用，大大增强了紧缩功用。

  • 国际电联(ITU-T)的 H.261、H.263、H.264等

    • H开源众包.261：第一个有用的数字视频解产品生命周期码规范，选用的紧缩算法是运动补偿帧间猜想与分块 DCT 相结合的混合编码，其运动补偿运用用全像素精度和环路滤波，支撑 CIF 和 QCIF 两种分辨率。
    • H.263：H.263 与 H.261 编码算法相同，可是做了一点改进，使得 H.263 规范在低码率下能够供给比 H.261 更好的图画作用，其运动补偿运用半像素精度，支撑 CIF、QCIF 、SQCIF、4CIF产品规划和16CIF 五种分辨率。
    • H.264：H.264则是由两个安排 ISO 和 ITU-T 联合组成的联合视频组（JVT）一起拟定的新数字视频编码规范，所以它既是 ITU-T 的H.264，又是 ISO/IEC 的 MPEG-4 高级视频编码（Advanced Video Coding，AVC）的第 10 部分，因而，不论是MPEG-4 AVC、MPEG-4 Part 10，仍是 ISO/IEC 14496-10，都是指 H.264，H.264 是根据传统结构的混合编码体系，做了局部优化，注重编码功率和可靠性。H.264 在具有高紧缩比的一起还具有高质量流转的图开源是什么意思像，经过 H.264 紧缩的视频数据，在网络传输进程中所需求的带宽算法工程师更少，是紧缩率最高的视频紧缩规范。

音频编码

常见的音频编接口和抽象类的差异解码规范如下：

  • ITU：G.711、G.729 等
  • MPEG：MP3、AAC 等
  • 3GPP：AMR、接口测验面试题AMR-WB、AMR-WB+等
  • 还有企业拟定的规范，如 Dolby AC-3、DTS 、WMA 等

常见的介绍如下：

  • MP3（MPEG-1 audio layer 3产品定位）：一种音频紧缩技能，它被规划用来大幅度地下降音频数据量，运用 MPEG Audio Layer 3 的技能，将音乐以 1:10 甚开源阅览app下载安装至 1:12 的紧缩率，紧缩成容量较小的文件，而关于大多数用户来说重放的音质与开端的不紧缩音频比较没有显着的下降开源阅览app下载安装，它是运用人耳对高频动态信号不灵敏的特性，将时域波形信号转换成频域信号，并划分成多个频段，对不同的频段运用不同算法导论的紧缩率，对高频加大紧缩比（乃至疏忽信号），对低频信号运用小紧缩比，保证信号不失真，这样就恰当于开源众包扔掉人耳根本听不到的高频动态，只保留能听开源阅览到的低频部分，然后对音频进行必定紧缩，此外 MP3 归于有损紧缩的文件格局。接口

  • AAC：Advanced Audio Coding 的缩写，开端是根据 MPEG-2 的音频编码技能，MPEG-4 呈现后接口是什么，AAC 从头集成了其特性，且加入了SBR 技能和 P产品批号是生产日期吗S 技能，为了差异于传算法的五个特性统的 MPEG开源节流-2 AA软件商店C 又称为MPEG-4 AAC，AAC 是一种专软件测验为动态数据规划的文件紧缩格局，相算法较 MP3，AAC 格局的音质更佳，文件更小，可是 AAC 是一种有损紧缩格局，跟着大容量设备的呈现，其优势将越来越小。接口测验

  • WMA：Windows Media Audio 的缩写，是微软公司开发的一系列音频算法的时刻复杂度是指什么编解码器，也指相应的数字音频编算法的五个特性码格局，WMA 包括四种不同的编软件技能专业解码器：WMA，原始的WMA编解码器，作为 MP3 和 RealAudio 编解码器的竞争者；WMA Pro，支撑更多声道和更高质量的音频[；WMA Lossless，无损编解码器；WMA Voice，用于贮存语音，运用的是低码率紧缩。一些运用 Windows Media Audio 编码格局编码其所有内容的纯音频 ASF 文件也运用 WMA 作为扩展名，其特色产品介绍是支撑加密，非法拷贝到本地是无法播映的，WMA 也归于有损紧缩的文件格局。

更多音视频编解码规范能够参考：音频编解码规范

多媒体播映组件

Android 多媒体播映组件包括 MediaPlayer、MediaCodec、OMX 、StageFright、AudioTrack 等，详细如下：

  • MediaPlayer：为运用层供给的播映操控接口
  • MediaCodec：供给访问底层媒体编解码产品批号是生产日期吗器的接口
  • OpenMAX ：Open Media Acceleration，又缩写为 OMX，打开多媒体加快层，软件技能专业是一个多媒体运用程序规范，An算法的五个特性droid 首要的多媒体引擎软件库StageFright 是透过 IBinde算法工程师r 运用 OpenMax，用于编解码处理产品司理。
  • StageFright：Android 2.2 开算法工程师端引进用产品运营来替换预设的媒体播映引擎 Op软件测验enCORE，Stagefright 是位于 Native 层的媒体播映引擎，内置了根据软件的开源阅览编解码器，且适用接口测验于热门媒体格局，其编解码功用是运用OpenMAX 结构，引进的是 OpenCORE 的 omx-co软件应用mponent 部分，在 Android 中是以共享库的方式存在，对应 libstag软件工程efright.so。
  • AudioTrack：办理和播映单个音频资源，仅支撑 PCM 流，如大多数的 WAV 格局的音频文件便是便是 P算法的五个特性CM 流，这类音频文件支撑 AudioTrack 直接进行播映。

常见的多媒体结构及解决方案

常见的多媒体结构及解决方案有 VLC 、 FFmpeg 、 GStream 等，详细如下：

  • VLC ： 即 Video LAN Client，是一款安闲、开源的跨平台多媒体播映器及结构 。
  • FFmpeg：多媒体解决方案，不是多媒体结接口和抽象类的差异构，广泛用于音视频开发中。
  • GStreamer ： 一套构建流媒体算法的时刻复杂度取决于运用的开源多媒体结构算法 。

帧率

帧率是用于丈量算法规划与剖析闪现帧数的丈量。单位为「每秒闪现帧数」（Frame per Second，FPS）或「赫兹，Hz」，标明每秒的帧数（FPS）或许说帧率标明图形处理器处理场时每秒算法钟能够更新的次数，高的帧率能够得到更流产品司理转、更传神的动画，一般来说 30fps 便是能够承受的，可是将功用提高至 60fps 则能够显着提高交互感和传神感，可是一般来说逾越 75fps 一般就不简略察觉到有显着的流转度提高了，假定帧率逾越屏幕改写率只会浪费图形处理的才华，因为监视器不能以这么快的速度更新，这样逾越改写率的帧率就浪费掉了。

分辨率

视频分辨率是指视频成像产品所构成的图画巨细或规范，常见的 1080P、开源矿工4K 等有代表什么呢，P产品战略 本身的意义是逐行扫描，标明视频像素的总行数，1算法剖析的意图是080P 标明总共有 1080 行的像素数，而 K接口和抽象类的差异 标明视软件测验频像素的总列数，4K 标明有 4000 列的像素数，一般来说，1080P 便是指 1080 x 1920 的分辨率，4开源节流 k 指 3840 x 2160 的分辨率。

改写率

改写率便是屏幕每秒产品运营画面被改写的次数，改写率分为垂直改写率和水平改写率，一般提到的改写率一般指垂直改产品质量法写率，垂直改写率标明屏幕的图象每秒钟重开源矿工绘多少次，也便是每秒钟屏幕产品规划改写的次数，以 Hz（赫兹）为单位开源是什么意思，改写率越高越好，图象就越安稳，图画闪现就越天然清楚，对眼睛的影响也越小，改写频软件测验率越低，图画闪耀和抖动的就越凶猛，眼睛疲倦得就越快，一般来说，如能抵达 80Hz 以上的产品司理改写频率就可彻底消除图画闪耀和抖动感，眼睛也不会太简略接口crc过错计数疲倦。

编码格局

针对音视频来说，编码格局软件库对应的便是音频编码和视频编码，对照前面的音频编码规范和视频编码规范，每种编接口测验码规范都对应的编码算产品规划法，其意图是经过必定编码算法结束开源数据的开源众包紧缩、减少数据的冗余。

封装格局

直接看下百度百科的关于封装格局的介绍，封装格局（也叫容器产品定位），便是算法剖析的意图是将现已编码紧缩好的视频轨和音频轨依照必定的格局放到一个文件中，也便是说仅仅是一个外壳，或许我们把它当成一个放视频轨和音频轨的文件夹也能够产品司理，说得粗浅点，视频轨恰当于饭，而音频轨恰当于菜，封装格局便是一个碗，或许一个锅，用来盛放饭菜的容器。

码率

码率，也便是比特率（Bit rate），指单位时刻内传输或处理的比特的数量，单位为 bps（bit per second）也可标明为 b/s，比特率越高，单软件技能专业位时刻传送的数据量（位数）越大，多媒体工作在指音频或视频在单接口协议位时刻内的数据传输率时一般运用码率，单位是 kbps，一般来说，假定是 1M 的宽带，在网上只能看码流不逾越 125kbps 的视频，逾越 125kbps 的视频只能等视频缓冲才华顺利观看。

码率一般分为固定码率和可变码率：

  • 固定码率会保证码流的码率开源节流安稳，可是算法是什么会献身视频质量，比如为了保证码率安稳，某些图画丰厚的内容接口是什么便是失掉某些图画细节而变得含接口的作用糊。
  • 可变码率指的是输出码流的码率是可变的，因为视频信源本身的顶峰信息量是改变的，从保证视频传输质量和充分运用信息的角度来说，可变码率视频编码产品运营才是最合理的。

码率的凹凸与视频开源阅览质量和文件提交成正比，但当码率逾越必定数值后，对视频质量没有影响。

颜色空间

  • YUV：一种颜色编码方法，一般运用在在形象处理组件中，YUV 在对相片或视频编码时，考虑到人类的感知才华，允许下降色度的带宽，其间 Y 标明明亮度、U 标明色度、V 标明浓度，Y′UV、YUV、YCbCr、YPbPr 所指涉的规划，常有稠浊或堆叠的状况算法规划与剖析。从前史的演化来说，其间 YUV 和 Y’UV 一般用来编码电视的模拟信号，而 YCbCr产品运营 则是用来描绘数字的形象信号，适合视频与图片紧缩以及传输，例如 MPEG、JPEG，现在 YUV 一般现已在电脑体系上广泛运用。
  • RGB：原色光方式，又称 RGB 颜色模型或红绿蓝颜色模型，是一种加色模型，将红（Red）、绿（Green）、[蓝产品（Blue）三原色的色光以不同的比例相加，以组成产生各种颜色光，现在的大多数闪现器都选用 RGB 这种颜色规范。

YUV 首要用于优化五颜六色视频信号的传输，使其向后相容旧式黑白电视，与 RGB 视频信号传开源节流是什么意思是什么输比较，它最大的长处在于只需占用极少算法规划与剖析的带宽。

采样率

采样率，标明每秒从连续信号中提取并组开源是什么意思成离散信号的采样个数，用赫兹（Hz）来标明，采样率是指将模拟信号转换成数字信号时的采样频率，人耳能听到的动态一般在 20Hz~20KHz 之间，产品介绍根据采样定理，采样频率大于信号中最高频率的 2 倍时，采样之后的数字信号便能无缺的反响实在信号，常见的采样率如下：

  • 8000 Hz：电话所用采样率, 关于人的说话现已满足
  • 11025 Hz：AM调幅播送所用采样率
  • 22050 Hz开源矿工 和 24,算法剖析的意图是000 Hz：FM调频播送所用采样率
  • 44100Hz：音频CD，常用于 MPEG-1 音频（VCD，SVCD，MP3）所用采样率
  • 47,250 Hz：商用 PCM 录音机所用采样率
  • 48,000 Hz：mini软件测验DV、数字电视、DVD、DAT、电影和专业音频所用的数字动态产品生命周期所用采样率

CD 音乐的规范采样频率为 44.1KHz，这也接口测验是现在声卡与核算机作业间最常用的采样产品司理频率，现在比较盛行的蓝光的采样率就恰当的高，抵达了 192kHz。而现在软件工程的声卡，绝大多数都能够支撑 44.1kHz、48kHz、96kHz，高端产品可支撑 192kHz 乃至更高，总归，采样率越高，获接口是什么得的动态文件质量接口测验越好，占用存储空间也就越大。

量化精度

声波在转换为数字信号的进程中不只有采样率影响原始动态的无缺性，还有一个重要影响要素是量开源代码网站github化精度，采样产品运营频率针对的是每秒钟所开源软件采样的数量，而量化精度则是关于声波的振幅进行切开，切开的数量是以最大振幅切成 2 的 n 次方核算软件，n 便是 bit 数，而 bit 数便是音频分辨率。

别的，bit 的数目还决议了声波振幅的规划（即动态规划，最大音量与最小接口是什么音量的差距），假定这个位开源节流数越大，则能够标明的数值越大，描绘波形更准确，每一个 Bit 的数据能够记载约等于 6dB 动态的信号，一般来说软件商店，16Bit 能够供给最大 96dB 的动态规划（软件开发加高频颤抖后 只有 92算法dB），据此能够推断出 20Bit 能够抵达 120dB 的动态规划，动态规划大了，会有什么好处呢？动态规划是指体系的输出噪音功率和最大不失真音量功率的比值，这个值越大，则体系能够承受很高的动态。

声道

声道指动态在录制或播映时在不同空间方位搜集或回开源节流放的彼此独立的音频信号，所以声软件测验道数也便是动态录制时的音源数量或回放时相应的扬声器数软件量，常见声道有软件测验单声道、立体声道、4 声道、5.1 声道、7.1 声道等 ，详细如下：

  • 单声道：设置一个扬声器。
  • 立体声道：把单声道一个扬声器扩展为左右对称的两个扬声器，动态在录制进程中被分配到两个独立的声道，然后抵达了很好的动态定位作用，这种技能在音乐欣赏中显得尤为有用，昕众能够清楚地分辨出各种乐器来自何方，然后使音接口是什么乐更富想象力产品生命周期，更加靠近临场感触。立体声技能广泛运用于自 Sound Bl开源阅览aster Pro 往后的很多声卡，成为了
    影响深远的音频规范。
  • 4 声道：4 声道盘绕规矩了 4 个发音点，分别是前左、前右、后左、后右，昕接口是什么众则被包围在中间，一起还建议增加算法导论一个低声音箱，以加强对低频信号的回放处理，这也便是现在 4.1 声道音箱体系广泛盛行的原因，就整体作用而言，4 声道体系能够为听众带来来自多个不 同方向的动态环产品运营绕，能够获得身 临各种不同环境的昕觉感触，给用户以全新的体会。
  • 5.1 声道：其实算法工程师 5.1 声道体系来源于开源软件 4.1 声道体系，将盘绕声道一分开源软件为二，分为左盘绕和右盘绕，中心方位增加重低声作用。
  • 7.1 声道：7.1 声道体系在 5.1 声道体系的基础上又增加了中左和中右两个发音点开源代码网站github，简略来说便是在听者的周围建立起一套前后相对平衡的声场，添开源节流是什么意思是什么加了 后中声场声道。

更多内容见微信大众号实践之。