音视频pts/dts

现在的视频流有两个非常重要的时间戳,pts和dts,其中pts是显示的时候用,dts在解码的时候用。

pts很好理解,按照pts的顺序以及duration不间断的display就可以了。

dts在解码的时候用,那么这句话怎么理解,解码器需要dts来确认解码顺序吗?

解码器解码顺序有两个:

  • 一个是放入解码器中的顺序
  • 另一个是解码器中解码的顺序

找个图来说明

如上图,我们经常看到,B帧是双向依赖帧,如上图所示,假设2号B帧解码的时候依赖4号P帧,那么请问:

这个依赖关系是谁告诉解码器的?

这是NAL包内部slice的bh数据来告诉解码器的。

所以解码器本身是不感知dts的,解码器解码时候需要的前后依赖关系也是在压缩数据内部保存的。

但是你把压缩数据送到解码器的时候要保证一个顺序,这个顺序是dts决定的。

也许你还不理解,什么是"把压缩数据送到解码器的时候要保证一个顺序"?,假设上面的压缩数据块就像扑克一样,洗牌后,你要排序,然后把它们放入到解码器,那么排序的规则是什么?这就是dts.

特别是网络包UDP的时候,压缩数据包来的前后顺序会乱序,这个时候就要根据dts来决定送入解码器的先后顺序。

相关推荐
Everbrilliant8934 分钟前
FFmpeg解码视频数据ANativeWindow播放
ffmpeg·音视频·ffmpeg视频解码·anativewindow·threadsafequeue·解码线程·渲染线程
简鹿办公1 小时前
什么是 MKV 视频格式?MKV 视频怎样批量转为 MP4 格式
音视频
愚公搬代码3 小时前
【愚公系列】《腾讯元宝从入门到精通》020-元宝在图片和音视频领域的应用(创作视频)
音视频
chjqxxxx12 小时前
php使用ffmpeg实现视频随机截图并转成图片
ffmpeg·php·音视频
ZEGO即构开发者17 小时前
WebRTC 实战:用即构 SDK 搭建 Web 端 1v1 视频通话(含完整流程与 Demo)
前端·音视频·webrtc
趣浪吧19 小时前
AI在手机上真没用吗?
人工智能·智能手机·aigc·音视频·媒体
qq_2821953120 小时前
嵌入式音频USB Audio调试
linux·音视频
代码狂想家20 小时前
CANN视频增强实战:基于Ascend平台的历史影像修复
音视频
1***81531 天前
Docker视频
docker·容器·音视频
Black蜡笔小新1 天前
视频融合平台EasyCVR助力守护渔业牧区安全与增效
安全·音视频