视频编解码

H264

1.1概述：H264是比较老的编码格式，优点是兼容性好。下面的介绍以改图为参考

1.2编码顺序：编码和解码顺序是一样的，但跟显示顺序不一样，编解码是先编码I帧，再编码P帧，最后编码B帧。

1. 显示顺序（播放顺序）

就是我们肉眼看到的画面顺序，完全对应图中「原始图片」的从左到右：

1. 第 1 帧（显示序号 1）：绿底 + 蓝色三角形（无椭圆、无矩形）
2. 第 2 帧（显示序号 2）：绿底 + 蓝三角 + 橙色椭圆 + 粉色矩形
3. 第 3 帧（显示序号 3）：绿底 + 蓝三角 + 粉色矩形（椭圆消失）

解编码顺序为：

1. 第 1 个编码 ：显示序号 1 → I 帧（基准关键帧，无依赖，先编码）
2. 第 2 个编码 ：显示序号 3 → P 帧（B 帧的后向参考帧，必须先编完，B 帧才能参考）
3. 第 3 个编码 ：显示序号 2 → B 帧（双向参考 I 帧和 P 帧，最后编码）

专门名词介绍：

I帧 ：I帧不需要参考其它帧，只需要在空间上进行压缩

P帧： 前向预测编码帧（predictive-frame），P帧表示的是这一帧跟之前的一个I帧（或P帧）的差别**，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面**。P帧需要参考其前面的一个I帧或者P帧来解码成一张完整的视频画面。

B帧：双向预测内插编码帧（bi-directional interpolated prediction frame），以前面的I或P帧和后面的P帧为参考帧。

GOP:（Group Of Picture,图像组 ）:指两个I帧之间的距离，Reference（参考周期）指两个P帧之间的距离。

IDR 图像 （立即刷新图像 ）:在H264中图像以序列 为单位进行组织，一个序列是一段图像编码后的数据流。 一个序列的第一个图像叫做 IDR 图像 （立即刷新图像），IDR 图像都是 I 帧图像。

DTS（Decoding Time Stamp,解码时间戳:这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。

PTS（Presentation Time Stamp，**显示时间戳：**这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

模块介绍：

一、PTS和DTS

P帧需要参考前面的I帧或P帧才可以生成一张完整的图片，而B帧则需要参考前面I帧或P帧及其后面的一个P帧才可以生成一张完整的图片。这样就带来了一个问题：在视频流中，先到来的 B 帧无法立即解码，需要等待它依赖的后面的 I、P 帧先解码完成，这样一来播放时间与解码时间不一致了，顺序打乱了。

虽然 DTS、PTS 是用于指导播放端的行为，但它们是在编码的时候由编码器生成的。