H264简介
H.264从1999年开始，到2003年形成草案，最后在2007年定稿有待核实。在ITU的标准里称为H.264,
在MPEG的标准里是MPEG-4的一个组成部分-MPEG-4 Part 10，又叫Advanced Video Codec，因此常常称为MPEG-4AVC或直接叫AVC。
压缩算法
帧内编码
解决空间冗余
帧内有空间冗余
一帧图像，每8*8/16*16个像素点划分为一个块；
存储左边上边的像素点+一个预测方向（比如上下左右，平均）；
预测方向就是为了解码出其他的像素点，插值算法，类似渐变算法
帧间编码
解决时间冗余
帧间有时间冗余，连续图像必然有大量重复像素（连续画面）
引出I帧、P帧、B帧、GOP序列的概念
I帧
-
帧内编码帧
-
自身可以独立通过解压算法形成一张完整的图片
-
每个GOP序列的第一个帧
-
随机访问的参考点
-
数据量最大
P帧
-
前向预测编码帧
-
将当前帧和前I帧、P帧比较，存储前帧没有的宏块，相似宏块记录索引
-
和I帧相似率25%左右
B帧
-
双向预测帧
-
当前帧和I帧、前后P帧比较，存储不相似的宏块，相似宏块记录索引
-
和I帧相似率75%左右
-
数据量最少
这样通过双向索引机制，就可以大大提高压缩效率
GOP序列
GOP图像序列 可以理解成一个场景，场景的物体都是相似的
一般都是I帧到下一个I帧之间的所有帧序列
解码顺序
B帧解码需要等待后一个P帧出来，才能结合I帧+后一个P帧解码出一帧
-
编码帧顺序：I B ... B P B...B
-
解码顺序：I P B B ... B B
播放时会按照pts对帧排序
H264码流结构
H264原始码流是由一个接一个的NALU包组成
注意：
- 传输码流之前要带上SPS、PPS，至少要发一次，然后发I帧，不然解码器解不出来
NALU结构
NALU由分割符（00 00 00 01）、头信息、编码数据构成
注意
-
对于FFmpeg解复用后，MP4文件读取出来的packet是不带startcode，但TS文件读取出来的packet带了startcode
-
播放MP4文件，其中的H264码流的每个NALU里面必须带startcode才能播放
头信息说明
T 为负荷数据类型，占5bit
nal_unit_type：这个NALU单元的类型,1～12由H.264使⽤，24～31由H.264以外的应⽤
一般只需要关注T的5678即可
举例：
0x00 00 00 01 67...
说明：
分隔符：0x00 00 00 01
67 二进制：0 11 00111
F: 0
R: 11
T: 00111 = 7 --->表示该NALU单元是序列参数集annexb模式
H264有两种封装结构
- 一种是annexb模式，传统模式，有startcode，SPS和PPS是在ES中，就是每个NALU=分割符+头信息+data
- 一种是mp4模式，一般mp4 mkv都是mp4模式，没有startcode，SPS和PPS以及其它信息被封装在container中，每一个frame前面是这个frame的长度
很多解码器只支持annexb模式，所以如果要解析码流，需要将MP4模式做转换,就是加上分割符和sps+pps