音视频学习(三十五):aud

概念

AUD(Access Unit Delimiter)访问单元分隔符

AUD 是在视频编码(特别是 H.264/AVC)中定义的一种 NALU(网络抽象层单元) 类型,用于指示视频流中一帧(访问单元)的边界。

它是一个特殊的 NAL 单元,其作用是:

  • 明确表示一帧视频数据的开始。
  • 提供解析边界,方便解码器正确解码每一帧。

技术细节

  • NAL unit type: 9

  • 通常是可选的(对某些流媒体协议或容器格式来说)

  • 内容示例(十六进制): 00 00 00 01 09 F0

应用场景

场景 作用
视频解码同步 有助于解码器快速同步帧,尤其是在随机访问/关键帧跳转时
流媒体传输(如 RTP / RTMP) 提供帧边界提示,有助于流中帧对齐
广播或低延迟直播 有时要求明确帧结构,以防解码器出错
调试或封装分析工具(如 ffmpeg, VLC) 通过 AUD 检测视频流中帧的划分情况
封装为 Annex-B 格式的裸流 增强流的可移植性和通用解码兼容性

AUD 和 WebRTC 的关系

  1. WebRTC 默认不需要 AUD
    • WebRTC 主要使用 RTP + SRTP + SDP 来封装和传输媒体,帧边界依靠 RTP Header 和 payload 处理,而不是依赖像 AUD 这样的显式帧分隔。
    • WebRTC 解码器通常内建解析能力,不依赖 AUD
  2. 但是某些编码器在输出 H.264 流时会包含 AUD
    • 比如使用 FFmpeg + x264 时,如果设置了 -bsf h264_mp4toannexb,就会插入 AUD。
    • WebRTC 某些实现(比如使用硬件解码器的移动端)在处理含 AUD 的 NALU 时可能会出现兼容性问题。
  3. SRS、FFmpeg 转码时 AUD 是否保留可能影响 WebRTC 播放
    • 所以在实际部署时,通常会在转码环节判断是否剔除 AUD。

是否需要 AUD?

应用 推荐是否使用 AUD
本地解码 / 播放(MP4/MKV) 通常不需要
Annex-B 裸流推送 推荐使用
RTP 推流(WebRTC/SIP) 通常不需要
流媒体转码系统(如 FFmpeg + SRS) 视兼容性决定,部分设备可能需要剔除

Annex-B 格式

Annex-B 是 H.264 裸流的标准封装形式,特点:

  • 每个 NALU 以起始码 0x00000001(或 0x000001)开头
  • 所有 NALU 都是裸的,包括:
    • SPS(NAL type 7)
    • PPS(NAL type 8)
    • IDR/I/P/B 帧(NAL types 5/1/2)
    • AUD(NAL type 9)
r 复制代码
00 00 00 01 09 F0       <- AUD
00 00 00 01 67 ...      <- SPS
00 00 00 01 68 ...      <- PPS
00 00 00 01 65 ...      <- IDR

总结

AUD 是 H.264 视频中的一个帧分隔符,用于辅助解码器识别帧起点,但在 WebRTC 等现代实时通信协议中通常不需要,甚至应剔除。

相关推荐
im_AMBER1 小时前
学习日志19 python
python·学习
_Kayo_5 小时前
VUE2 学习笔记6 vue数据监测原理
vue.js·笔记·学习
chenchihwen6 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
源码_V_saaskw6 小时前
JAVA图文短视频交友+自营商城系统源码支持小程序+Android+IOS+H5
java·微信小程序·小程序·uni-app·音视频·交友
超浪的晨6 小时前
Java UDP 通信详解:从基础到实战,彻底掌握无连接网络编程
java·开发语言·后端·学习·个人开发
悠哉悠哉愿意8 小时前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
快乐肚皮8 小时前
ZooKeeper学习专栏(五):Java客户端开发(原生API)详解
学习·zookeeper·java-zookeeper
慕y2748 小时前
Java学习第七十二部分——Zookeeper
java·学习·java-zookeeper
★YUI★9 小时前
学习游戏制作记录(剑投掷技能)7.26
学习·游戏·unity·c#
蓝桉8029 小时前
opencv学习(图像金字塔)
人工智能·opencv·学习