实时音视频技术学习文档
视频
本质上是由图片，通常比如1秒24张，30张，连续播放就生产了视频。
其中这个张，更专业的说法叫做**帧,一秒有多少帧，叫帧率**。
色彩
常用的有**RGB和YUV**，RGB代表红黄蓝，三种颜色按比例混合，可以调出任意颜色。YUV，Y是亮度，U是蓝色和亮度的差值，V是红色和亮度的差值，按照比例混合也可以混合出任意颜色。可以理解为两种颜色的编码方式。
音频
音频本质是波，一般用PCM，脉冲编码调制来把声音数字化。
PCM的步骤，主要有以下：
模拟信号 - > 采样 - > 量化 -> 编码 - >数字信号
**采样率：**这个主要是采样的频率
采样位数：这个主要是模拟振幅的最大最小值，如果是16位，那就是最小值为-32768 , 最大值为32767
编码：就是把幅度值转换为0和1存储
声道数：就是能支持不同声音的音响个数
码率：码率，是指一个数据流中每秒钟能通过的信息量，单位bps（bit per second）。
编码（压缩）
如果不进行压缩，存储所有的信息，那么一分钟的视频可能有上百GB，因此普遍需要算法来进行压缩。视频的话一般有h264，音频一般有AAC等
解码
软解码：利用CPU解码计算画面，兼容性好，但是速度慢，容易发热
硬解码：用专门的解码芯片来实现，性能好，但是每个厂家实现方式不同，兼容性差