【音视频】Opus 编码格式介绍

参考文章：
https://blog.csdn.net/Innovator_cjx/article/details/139925365?spm=1001.2014.3001.5502
https://blog.51cto.com/yingnanxuezi/13094573

一、Opus 概述

Opus 作为 IETF RFC 6716 标准定义的开源免费音频编解码器，整合了 Skype 的 SILK（语音优化）与Xiph.Org的 CELT（低延迟 / 音乐优化）技术，兼具交互式语音传输与高质量音乐流媒体能力，是 WebRTC、直播、VoIP 等场景的首选编码方案。

二、Opus 特性

2.1 多编码模式

Opus 并非简单拼接两种编码，而是通过动态模式切换实现场景适配：

• 仅 SILK 模式 ：适用于低比特率窄带语音（如 6-24 kbit/s，8kHz 采样），依托 SILK 的线性预测（LP）技术，优化人声的连贯性与抗丢包能力，典型场景为弱网 VoIP 通话。

• 混合模式（SILK+CELT） ：适用于中比特率宽带语音 / 音乐（24-128 kbit/s，16-48kHz 采样），通过 SILK 处理低频人声、CELT 处理高频细节（如乐器泛音），平衡音质与延迟，典型场景为视频会议连麦。

• 仅 CELT 模式 ：适用于高比特率音乐 / 低延迟场景（128-510 kbit/s，48kHz 采样），基于改进离散余弦变换（MDCT）技术，支持全频带音频，延迟可低至 5ms，典型场景为直播伴奏、游戏语音。

Opus 的参数灵活性，具体覆盖范围如下：

• 比特率：6 kbit/s（窄带单声道语音）~ 510 kbit/s（宽带立体声音乐）；
• 采样率：8kHz（窄带）、12kHz（中带）、16kHz（宽带）、24kHz（超宽带）、48kHz（全频），解码器可自适应任意采样率；
• 延迟：算法延迟 5ms（2.5ms 帧长 + 2.5ms 处理）~ 65.2ms（60ms 帧长 + 5.2ms 处理），远低于 AAC 的 200ms + 延迟；
• 通道数 ：支持单声道、立体声，部分扩展实现支持多声道（如 5.1 环绕声）。
  

2.2 动态配置与场景适配

Opus 的控制参数支持运行时动态调整（无需中断流传输），所有参数通过 "带内信号" 通知解码器，确保互操作性。以下是参考编码器中最关键的 9 类参数：

1. 比特率（Bitrate）：音质与带宽的权衡

• 范围：6 ~ 510 kbit/s，单声道最高 255 kbit/s，立体声最高 510 kbit/s；
• 特性 ：比特率与音质正相关，但需匹配场景需求：
  • 语音通话：推荐 16 ~ 48 kbit/s（单声道 24 kbit/s 即可满足清晰通话）；
  • 音乐流媒体：推荐 96 ~ 192 kbit/s（立体声 128 kbit/s 接近 CD 音质）；
• "最佳点" 规律：对于 20ms 帧长（最常用配置），不同场景的比特率最佳值如下：

场景	单声道比特率	立体声比特率	采样率
窄带语音（VoIP）	6 ~ 16 kbit/s	-	8kHz
宽带语音（视频会议）	16 ~ 48 kbit/s	32 ~ 96 kbit/s	16kHz
音乐（直播）	64 ~ 128 kbit/s	96 ~ 192 kbit/s	48kHz

2. 通道数（Channels）：单声道与立体声的兼容

• 支持类型：单声道（1 通道）、立体声（2 通道）；
• 解码兼容 ：
  • 立体声解码器接收单声道帧时，左 / 右声道输出相同信号；
  • 单声道解码器接收立体声帧时，输出左 / 右声道的平均值（无相位失真）；
• 应用建议：语音场景优先单声道（节省 50% 带宽），音乐场景用立体声（提升空间感）。

3. 音频带宽（Audio Bandwidth）：采样率与频率范围的绑定

• 定义：音频信号的频率覆盖范围，与采样率强关联（如 8kHz 采样对应 "窄带"，频率范围 200Hz ~ 3.4kHz）；
• 支持类型：窄带（NB，8kHz）、中带（MB，12kHz）、宽带（WB，16kHz）、超宽带（SWB，24kHz）、全频（FB，48kHz）；
• 动态调整：编码器可根据比特率自动切换带宽（如低比特率时从全频降为宽带），解码器无需额外配置即可适配。

4. 帧长（Frame Size）：延迟与效率的平衡

• 支持选项：2.5ms、5ms、10ms、20ms、40ms、60ms，且支持 "多帧打包"（将多个帧合并为 1 个 RTP 包，最长 120ms）；
• 核心权衡 ：
  • 短帧长（2.5~10ms）：延迟低（适合游戏 / 实时互动），但 IP/UDP/RTP 头开销占比高（如 2.5ms 帧的头开销占比可达 50%），编码效率低；
  • 长帧长（40~60ms）：编码效率高（头开销占比 < 10%），但延迟高（不适合实时场景），且单帧丢包导致的音频丢失更长（60ms 丢包会造成明显卡顿）；
• 默认推荐：20ms 帧长 ------ 平衡延迟（20ms + 处理延迟≈30ms，人类听觉无明显感知）、编码效率（头开销占比≈20%）、丢包敏感性（20ms 丢失可通过 PLC 快速掩盖）。

5. 复杂度（Complexity）：CPU 消耗与音质的权衡

• 范围：0（最低）~ 10（最高），默认值为 3；
• 影响维度 ：复杂度通过调整信号处理的 "精细度" 影响音质与 CPU 占用：
  • 低复杂度（0~2）：简化音调分析、减少噪声整形阶数，CPU 占用低（适合嵌入式设备），但高频细节损失较多（音乐场景音质下降明显）；
  • 高复杂度（8~10）：启用全阶音调滤波、可变时频分辨率，音质接近无损，但 CPU 占用提升 3~5 倍（适合 PC / 服务器）；
• 应用建议：移动端推荐复杂度 3~5，PC / 服务器推荐 5~8，音乐场景可拉满至 10。

6. 丢包弹性（Packet Loss Resilience）：帧间相关性的动态调整

• 核心逻辑：Opus 通过 "帧间预测" 降低比特率（如 P 帧参考前一帧），但会导致 "错误传播"（丢 1 帧影响后续多帧）；
• 调整机制 ：编码器可实时控制帧间相关性强度：
  • 高丢包场景（如丢包率 > 10%）：降低帧间相关性（更多使用 "独立帧"），虽比特率上升 10~20%，但错误传播仅影响 1 帧；
  • 低丢包场景（丢包率 < 1%）：提高帧间相关性，比特率降低 5~15%，音质更连贯；
• 实现方式：通过调整 SILK 的 "LPC 阶数" 和 CELT 的 "MDCT 块大小" 实现相关性控制。

7. 前向纠错（FEC）：带内冗余抗丢包

• 机制 ：编码器识别 "感知重要帧"（如语音起始、音乐瞬变），将其以低比特率重编码后，嵌入后续数据包的 "冗余字段"；
• 特性 ：
  • 冗余量可配置（如 5%~20% 带宽开销），冗余越高抗丢包能力越强；
  • 仅对重要帧添加冗余，避免无意义的带宽浪费（如静音帧不添加 FEC）；
• 应用场景：弱网实时场景（如 4G/5G 波动），启用 FEC 可将丢包导致的 "卡顿率" 从 20% 降至 5% 以下。

8. 恒定 / 可变比特率（CBR/VBR）：速率稳定性的选择

Opus 支持三种速率模式，核心差异在于 "比特率是否随输入信号动态变化"：

模式	特性	适用场景
可变比特率（VBR，默认）	比特率随信号复杂度变化（如静音期降为 6 kbit/s，音乐高潮升为 128 kbit/s），带宽效率最高	大多数场景（语音通话、音乐流媒体）
约束 VBR（Constrained VBR）	比特率在 "目标范围" 内波动（如 ±10%），避免突发高带宽，模拟 "比特库" 机制	带宽受限场景（如固定速率的卫星通信）
恒定比特率（CBR）	每帧比特率固定（如 24 kbit/s 帧长 20ms，则每帧 60 字节），速率最稳定	特殊场景：1）传输层要求固定帧大小；2）加密场景需避免速率波动（防止流量分析）

9. 不连续传输（DTX）：静音期带宽优化

• 机制：启用 DTX 后，编码器在 "静音 / 背景噪声期" 停止发送完整帧，仅每 400ms 发送 1 个 "噪声参数帧"（约 2~4 字节）；
• 带宽节省：静音期带宽从 24 kbit/s 降至 0.08 kbit/s（节省 99.6%）；
• 感知优化：解码器根据 "噪声参数" 生成匹配的 "舒适噪声"（CNG），避免静音期的 "死寂感"，提升通话自然度。

三、Opus数据帧

Opus 编码器输出的 "数据包" 是独立传输单元（不含 IP/UDP/RTP 头），每个数据包可包含 1 个或多个音频帧，核心依赖 "TOC 字节" 实现配置协商与帧解析。

1. TOC 字节（Table-Of-Contents）

每个 Opus 数据包必须以 1 个 TOC 字节开头，用于标识数据包的 "操作模式、通道数、帧数"，结构如下（8 位二进制）：

比特位（Bit）	7~3（5 位）	2（1 位）	1~0（2 位）
字段含义	Config	S（立体声标志）	C（帧计数 Code）
功能说明	编码配置（模式 + 带宽 + 帧长）	0 = 单声道，1 = 立体声	0~3：标识数据包中的帧数

Config 字段（5 位）：32 种编码配置的映射

5 位二进制对应 32 种（0~31）预定义配置，每种配置绑定 "操作模式、音频带宽、帧长" 三要素，核心映射规则如下：

• 仅 SILK 模式（Config 0~3）：窄带（NB，8kHz），帧长分别为 10ms、20ms、40ms、60ms；
• 仅 SILK 模式（Config 4~7）：中带（MB，12kHz），帧长同上；
• 仅 SILK 模式（Config 8~11）：宽带（WB，16kHz），帧长同上；
• 混合模式（Config 12~23）：超宽带（SWB，24kHz）/ 全频（FB，48kHz），帧长 10~60ms；
• 仅 CELT 模式（Config 24~31）：全频（FB，48kHz），帧长 2.5~60ms。

例如：Config=14 → 混合模式、超宽带（24kHz）、20ms 帧长；Config=26 → 仅 CELT 模式、全频（48kHz）、10ms 帧长。

（2）S 字段（1 位）：通道数标识

• 0：单声道（1 通道）；
• 1：立体声（2 通道）。

（3）C 字段（2 位）：帧计数 Code（0~3）

标识数据包中包含的 "帧数" 及 "帧大小分配方式"，是后续帧解析的关键：

• C=0（Code 0）：1 个帧；
• C=1（Code 1）：2 个帧，且两帧压缩后大小相同；
• C=2（Code 2）：2 个帧，且两帧压缩后大小不同；
• C=3（Code 3）：任意数量帧（需额外字节指定帧数）。

2. 帧打包方式：按 Code 类型分类解析

不同 Code 类型对应不同的帧数据组织方式，核心需解决 "帧大小标识" 与 "数据完整性" 问题。

（1）Code 0：单帧包（最常用）

• 结构：TOC 字节（1 字节） + 单帧压缩数据（N-1 字节，N 为数据包总大小）；
• 解析逻辑：无需额外长度标识，TOC 字节后所有数据均为该帧内容；
• 示例：N=61 字节 → TOC（1 字节）+ 帧数据（60 字节），对应 20ms 帧长、24 kbit/s 单声道（24000 bit/s ÷ 50 帧 / 秒 = 480 bit / 帧 = 60 字节 / 帧）。

（2）Code 1：相同大小双帧包

• 结构：TOC 字节（1 字节） + 第一帧数据（(N-1)/2 字节） + 第二帧数据（(N-1)/2 字节）；
• 约束条件：数据包总大小 N 需满足 "N-1 为偶数"（确保两帧大小相等）；
• 解析逻辑：将 TOC 后的数据平分为两部分，分别对应两个帧；
• 示例：N=121 字节 → TOC（1 字节）+ 帧 1（60 字节）+ 帧 2（60 字节），对应两个 24 kbit/s 单声道帧。

（3）Code 2：不同大小双帧包

• 结构：TOC 字节（1 字节） + 第一帧长度标识（1~2 字节） + 第一帧数据（N1 字节） + 第二帧数据（剩余字节）；
• 长度标识规则 （关键）：
  • 若长度值≤251：用 1 字节标识（值 = N1）；
  • 若长度值≥252：用 2 字节标识（第一字节 = 252~255，第二字节 = B，总长度 = N1= (B×4) + 第一字节）；
• 约束条件 ：
  • 数据包需足够长（如 2 字节 Code 2 包无效，因长度标识 + 两帧数据至少需 3 字节）；
  • 第一帧长度 N1 不得超过 "总字节 - TOC 字节 - 长度标识字节"；
• 示例：N=93 字节 → TOC（1）+ 长度标识（1 字节 = 60）+ 帧 1（60）+ 帧 2（31），对应 60 字节（24 kbit/s）和 31 字节（12.4 kbit/s）的两个单声道帧。

（4）Code 3：任意帧数包（支持填充与多帧）

Code 3 是最灵活的打包方式，支持 "任意帧数" 和 "Opus 层填充"，核心用于需要精确控制数据包大小的场景（如 RTP 包对齐 MTU）。

结构总览

TOC 字节（1 字节） + 帧计数字节（1 字节） + [填充长度标识（可选）] + 多帧数据（M 帧） + [填充字节（可选）]

帧计数字节（1 字节）：解析帧数与填充

帧计数字节的 8 位结构如下：

比特位（Bit）	7~2（6 位）	1（1 位）	0（1 位）
字段含义	M（帧数）	P（填充标志）	V（VBR 标志）
功能说明	0~63（实际帧数 = M，M≠0）	0 = 无填充，1 = 有填充	0=CBR，1=VBR

• M（帧数）：数据包中音频帧的数量，需满足 "总音频时长≤120ms"（如 2.5ms 帧最多 48 帧，60ms 帧最多 2 帧）；
• P（填充标志）：标识是否添加 "Opus 填充"（区别于传输层填充）；
• V（VBR 标志）：标识帧数据是 CBR（固定大小）还是 VBR（可变大小）。

Opus 填充机制（P=1 时启用）

填充用于 "扩展数据包大小至目标值"（如适配 MTU=1500 字节），填充字节由编码器设为 0（避免隐蔽通道），解码器可忽略填充值：

• 填充长度标识规则 ：
  • 若填充字节数≤254：用 1 字节标识（值 = 填充字节数）；
  • 若填充字节数≥255：用多字节标识（第一字节 = 255，后续字节 B，总填充字节数 = 254 + B，需确保数据包长度足够）；
• 示例：需填充 256 字节 → 填充长度标识 = 255（1 字节）+ 0（1 字节） → 总填充字节数 = 255 + 1=256

帧数据分配（CBR vs VBR）

• CBR 模式（V=0） ：
  • 总有效数据字节 = N（总包长） - 2（TOC + 帧计数字节） - 填充相关字节（P=1 时的标识 + 填充字节）；
  • 每帧大小 = 总有效数据字节 / M（需为整数，否则数据包无效）；
• VBR 模式（V=1） ：
  • 每帧大小通过 "Code 2 的长度标识规则" 依次标识（与 Code 2 类似，但支持 M 帧）；

示例

假设目标 MTU=1500 字节，需传输 4 个 20ms CBR 帧（每帧 60 字节，总数据 240 字节）：

• 数据包总大小 = 1500 字节 → 需填充 = 1500 - 2（TOC + 帧计数） - 240（数据）=1258 字节；
• 帧计数字节：M=4（6 位 = 000100）、P=1、V=0 → 二进制 = 00010010 → 十进制 = 18；
• 填充长度标识：1258 字节 → 1258=254 + 1004 → 需多字节标识：第一字节 = 255，第二字节 = 1004（十进制）；
• 最终结构：TOC（1）+ 帧计数（18，1）+ 填充标识（255+1004，2）+ 数据（240）+ 填充（1258） → 总 1500 字节。

四、总结

4.1 Opus 编码特点

多功能编码器

• 支持从超低延迟的实时语音通信到高保真音乐流的编码。
• 结合了SILK（用于语音编码）和CELT（用于高保真音乐）两种技术

动态比特率调整

• 比特率范围：6 kbps 到 510 kbps。
• 能够在不丢失音质的情况下调整比特率，非常适合网络条件不稳定的环境

宽频带支持

• 采样率支持：8 kHz 到 48 kHz。
• 通道支持：单声道、立体声，甚至多通道

低延迟

• 延迟通常在 20 毫秒以内，非常适合实时应用

高压缩效率

• 在低比特率下仍能提供较高音质，优于 MP3、AAC 等传统编码

4.2 Opus编码细节

灵活帧长：

• 支持 2.5ms、5ms、10ms、20ms、40ms、60ms 多种帧长，可根据 "延迟需求" 和 "音质优先级" 灵活选择（如 2.5ms 帧适合超低延迟，60ms 帧适合高音质音乐）。

多带宽模式：

• 覆盖 窄带（8kHz）、中宽带（12kHz）、宽带（16kHz）、超宽带（24kHz）、全带宽（48kHz），编码器可动态切换以适配内容与网络。

双模式智能混合：

• 语音场景：采用基于 "线性预测" 的 SILK 技术，优化人声连贯性与抗丢包能力。
• 音乐 / 复杂音效场景：采用 "改进离散余弦变换（MDCT）" 的 CELT 技术，还原高频细节。
• 动态切换：编码器可根据音频内容（如 "人声转音乐"）自动混合两种模式。

4.3 Opus 应用场景

语音通信

• 使用 WebRTC 的应用程序如 Google Meet、Zoom
• VoIP（如 Skype）中使用 Opus 编码来减少延迟和提高音质

在线音乐流

• 提供高效和高质量的音乐流媒体服务

游戏音频

• 游戏中的实时语音通信

4.4 Opus 与其他编码格式的对比

特性	Opus	MP3	AAC
比特率范围	6--510 kbps	32--320 kbps	16--512 kbps
采样率支持	8--48 kHz	16--48 kHz	8--96 kHz
延迟表现	<20 ms	高	中等
实时通信适用性	优秀	差	中等
开源 / 免版权	是	否	否

4.5 常见问题

1. Opus 如何适应网络波动？

通过四大机制保障：

• 动态比特率：根据网络实时调整比特率（如弱网降为 16 kbps，网络恢复升为 96 kbps）。
• 前向纠错（FEC）：在数据包中嵌入 "前一帧冗余信息"，丢包时解码器可恢复内容。
• 丢包隐藏（PLC）：丢包时通过算法生成 "伪音频帧"，避免卡顿或爆音。
• 动态带宽切换：从 "窄带（8kHz）" 到 "全频（48kHz）" 智能切换，匹配网络能力。

2. 实时通信中 Opus 带宽如何计算？

需结合三部分：

• 基础比特率：如选择 32 kbps 编码，基础带宽为 32 kb / 秒。
• 协议开销：RTP、UDP、IP 等传输协议的头部会占用额外带宽（如 RTP 头约占 12 字节 / 包）。
• 采样率与声道：更高参数（如 48kHz 立体声）会增加带宽需求。

实际估算公式：

实际带宽 = 比特率 + 协议头部总开销

3. Opus 与 AAC-LD（低延迟 AAC）有何区别？

维度	Opus	AAC-LD
延迟	5--65.2 ms	20--40 ms
比特率范围	6--510 kbps	24--128 kbps
音质	低比特率下更优	高比特率下更稳
场景	通用于语音 / 音乐实时传输	侧重高质量音频传输

4. 如何用 FFmpeg 转换 Opus 格式？

• WAV 转 Opus：

ffmpeg -i input.wav -c:a libopus output.opus

• Opus 转 MP3：

ffmpeg -i input.opus -c:a libmp3lame output.mp3

• 指定比特率转换（如 64 kbps）：

ffmpeg -i input.wav -c:a libopus -b:a 64k output.opus

5. WebRTC 如何集成 Opus？

WebRTC 原生支持 Opus，集成步骤：

1. SDP 协商：建立连接时，通过 SDP（会话描述协议）指定 Opus 为音频编解码器。
2. 参数配置：按需设置比特率、采样率、声道等（如视频会议可设 48 kbps、16kHz 单声道）。
3. 实时调整：通话中根据网络状况动态修改编码参数，平衡音质与流畅度。