视频编解码

H264

1.1概述:H264是比较老的编码格式,优点是兼容性好。下面的介绍以改图为参考

1.2编码顺序:编码和解码顺序是一样的,但跟显示顺序不一样,编解码是先编码I帧,再编码P帧,最后编码B帧。

1. 显示顺序(播放顺序)

就是我们肉眼看到的画面顺序,完全对应图中「原始图片」的从左到右:

  1. 第 1 帧(显示序号 1):绿底 + 蓝色三角形(无椭圆、无矩形)
  2. 第 2 帧(显示序号 2):绿底 + 蓝三角 + 橙色椭圆 + 粉色矩形
  3. 第 3 帧(显示序号 3):绿底 + 蓝三角 + 粉色矩形(椭圆消失)

解编码顺序为:

  1. 第 1 个编码 :显示序号 1 → I 帧(基准关键帧,无依赖,先编码)
  2. 第 2 个编码 :显示序号 3 → P 帧(B 帧的后向参考帧,必须先编完,B 帧才能参考)
  3. 第 3 个编码 :显示序号 2 → B 帧(双向参考 I 帧和 P 帧,最后编码)

专门名词介绍:

I帧 :I帧不需要参考其它帧,只需要在空间上进行压缩

P帧: 前向预测编码帧(predictive-frame),P帧表示的是这一帧跟之前的一个I帧(或P帧)的差别**,解码时需要用之前缓存的画面叠加上本帧定义的差别,生成最终画面**。P帧需要参考其前面的一个I帧或者P帧来解码成一张完整的视频画面。

B帧:双向预测内插编码帧(bi-directional interpolated prediction frame),以前面的I或P帧和后面的P帧为参考帧。

GOP:(Group Of Picture,图像组 ):指两个I帧之间的距离,Reference(参考周期)指两个P帧之间的距离。

IDR 图像 (立即刷新图像 ):在H264中图像以序列 为单位进行组织,一个序列是一段图像编码后的数据流。 一个序列的第一个图像叫做 IDR 图像 (立即刷新图像),IDR 图像都是 I 帧图像。

DTS(Decoding Time Stamp,解码时间戳:这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。

PTS(Presentation Time Stamp,**显示时间戳:**这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

模块介绍:

一、PTS和DTS

P帧需要参考前面的I帧或P帧才可以生成一张完整的图片,而B帧则需要参考前面I帧或P帧及其后面的一个P帧才可以生成一张完整的图片。这样就带来了一个问题:在视频流中,先到来的 B 帧无法立即解码,需要等待它依赖的后面的 I、P 帧先解码完成,这样一来播放时间与解码时间不一致了,顺序打乱了。

虽然 DTS、PTS 是用于指导播放端的行为,但它们是在编码的时候由编码器生成的。

相关推荐
赤生云电竞1 小时前
云游戏边缘节点部署实践:机房选址与网络拓扑选型
网络·游戏·php
ITxiaobing20231 小时前
中国广告技术公司海外反欺诈中的 IP 应用:从“库查询”到“多层信号”
网络·tcp/ip·web安全
安易算力1 小时前
智算中心网络架构选型:RDMA/IB/以太网深度对比与落地实践
网络·架构
2401_868534782 小时前
天融信网络安全面试题
服务器·网络
注塑机数据采集联网4 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
我不会插花弄玉16 小时前
13.多路转接epoll【由浅入深-网络】
网络·c++·epoll
最强小杰16 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
上海潭龙东海科技有限公司1 天前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
jianqiang.xue1 天前
把Agent塞进MCU:工具次数和上下文长度怎么卡
java·前端·网络·单片机·esp32·ai编程
离凌寒1 天前
一、关于qt编写的mqtt工具与tcp工具使用说明
网络·网络协议·tcp/ip