前提:
从前面的学习我们知道 AVFrame中是最原始的 视频数据,这一节开始我们需要将这个最原始的视频数据 压缩成 AVPacket数据,
我们前面,将YUV数据或者 RGBA 数据装进入了 AVFrame里面,并且在SDL中显示。
也就是说:对于安防项目来说,我们将原始从摄像头数据(YUV,RGB)转换成 AVFrame后,可以直接显示出来。但是如果我们将要数据存储,则要将 AVFrame转成 AVPacket.
视频编码 以及原理
从摄像头得到原始数据 ---- > 像素格式转换---->编码------>封装
编码的原因很好理解,YUV数据太大了,我们要编码成 h264,h265 等较小的格式
背后的原理是这样,一个YUV视频是由一张一张YUV图片组成的。
帧内压缩:
我们将一张YUV图片,假设是 1280x728大小的,我们将其划分成16x16的大小,总有一些像素点是一样的,或者接近的,例如下图:
帧间压缩:
假设上述图片是YUV 的第一张图片,第二帧图片是师爷 在讲话,那么第二帧图片可能只是嘴巴变化了一下,那么我们参考第一张图片,去存储第二张图片,就只用存储第二章图片 和 第一张图片不同的地方就好。。在还原的时候,参考第一张图片和差异,通过算法还原,这就叫做帧间压缩
我们这一节将 AVFrame转成 AVPacket,实际上就是编码的过程,