音视频学习(三十五):aud

概念

AUD(Access Unit Delimiter)访问单元分隔符

AUD 是在视频编码(特别是 H.264/AVC)中定义的一种 NALU(网络抽象层单元) 类型,用于指示视频流中一帧(访问单元)的边界。

它是一个特殊的 NAL 单元,其作用是:

  • 明确表示一帧视频数据的开始。
  • 提供解析边界,方便解码器正确解码每一帧。

技术细节

  • NAL unit type: 9

  • 通常是可选的(对某些流媒体协议或容器格式来说)

  • 内容示例(十六进制): 00 00 00 01 09 F0

应用场景

场景 作用
视频解码同步 有助于解码器快速同步帧,尤其是在随机访问/关键帧跳转时
流媒体传输(如 RTP / RTMP) 提供帧边界提示,有助于流中帧对齐
广播或低延迟直播 有时要求明确帧结构,以防解码器出错
调试或封装分析工具(如 ffmpeg, VLC) 通过 AUD 检测视频流中帧的划分情况
封装为 Annex-B 格式的裸流 增强流的可移植性和通用解码兼容性

AUD 和 WebRTC 的关系

  1. WebRTC 默认不需要 AUD
    • WebRTC 主要使用 RTP + SRTP + SDP 来封装和传输媒体,帧边界依靠 RTP Header 和 payload 处理,而不是依赖像 AUD 这样的显式帧分隔。
    • WebRTC 解码器通常内建解析能力,不依赖 AUD
  2. 但是某些编码器在输出 H.264 流时会包含 AUD
    • 比如使用 FFmpeg + x264 时,如果设置了 -bsf h264_mp4toannexb,就会插入 AUD。
    • WebRTC 某些实现(比如使用硬件解码器的移动端)在处理含 AUD 的 NALU 时可能会出现兼容性问题。
  3. SRS、FFmpeg 转码时 AUD 是否保留可能影响 WebRTC 播放
    • 所以在实际部署时,通常会在转码环节判断是否剔除 AUD。

是否需要 AUD?

应用 推荐是否使用 AUD
本地解码 / 播放(MP4/MKV) 通常不需要
Annex-B 裸流推送 推荐使用
RTP 推流(WebRTC/SIP) 通常不需要
流媒体转码系统(如 FFmpeg + SRS) 视兼容性决定,部分设备可能需要剔除

Annex-B 格式

Annex-B 是 H.264 裸流的标准封装形式,特点:

  • 每个 NALU 以起始码 0x00000001(或 0x000001)开头
  • 所有 NALU 都是裸的,包括:
    • SPS(NAL type 7)
    • PPS(NAL type 8)
    • IDR/I/P/B 帧(NAL types 5/1/2)
    • AUD(NAL type 9)
r 复制代码
00 00 00 01 09 F0       <- AUD
00 00 00 01 67 ...      <- SPS
00 00 00 01 68 ...      <- PPS
00 00 00 01 65 ...      <- IDR

总结

AUD 是 H.264 视频中的一个帧分隔符,用于辅助解码器识别帧起点,但在 WebRTC 等现代实时通信协议中通常不需要,甚至应剔除。

相关推荐
肥肠可耐的西西公主23 分钟前
后端(fastAPI)学习笔记(CLASS 1):扩展基础
笔记·学习·fastapi
對玛祷至昏1 小时前
算法学习路径
学习·算法·排序算法
qq_386322695 小时前
华为网路设备学习-32(BGP协议 七)路由反射器与联邦
网络·学习
萘柰奈5 小时前
Unity学习----【进阶】Addressables(二)--加载资源与打包及更新
学习·unity
liliangcsdn8 小时前
Leiden社区发现算法的学习和示例
学习·数据分析·知识图谱
DKPT9 小时前
JVM中如何调优新生代和老生代?
java·jvm·笔记·学习·spring
phltxy9 小时前
JVM——Java虚拟机学习
java·jvm·学习
m0_5713728212 小时前
嵌入式学习——ARM 体系架构1
arm开发·学习
Rhys..13 小时前
python + Flask模块学习 2 接收用户请求并返回json数据
python·学习·flask
音视频牛哥13 小时前
打造一款高稳定、低延迟、跨平台RTSP播放器的技术实践
音视频·rtsp播放器·rtsp player·rtsp播放器录像·rtsp h.265·rtsp hevc·rtsp播放器h.265