音频的传输链路与延迟优化点

麦克风->系统采集模块->APP采集模块->3A、混响等音效->混音->音频编码->RTC网络发送->

MediaServer->RTC网络接收->音频jitter buffer->音频解码->音频的后处理(均衡)->APP播放模块->x系统播放模块->扬声器/耳机。

整个链路如上;

采播延迟:

音频的『采播延迟』不同机型的差异比较大,iOS效果比较好,采集+播放大约在20-30ms.

Android好的机型在30ms,差的机型可以达到300ms.

优化手段:通过AAudio等方式对延迟进行优化。

目标延迟:iOS:20-30 Android: 部分机型30-70ms

3A延迟

音效需要分开来看,一般混响类音效不会引入延迟,但是变声类音效会引入延迟。

优化手段:佩戴有线耳机,可以关闭3A,减少30ms延迟。

对外外放场景,可以对30ms的3A算法进行优化到10ms。

限制不开启音效,或者只开启不引入延迟的混响音效。

目标延迟:耳机 0ms。 外放 10ms。

RTC编码

RTC的音频编码帧长一般是20ms.

优化手段:需要将编码帧长变为10ms, 支持全链路10ms帧长,减少10ms延迟。

RTC网络延迟

一般就是RTT/2, 通过多部署边缘服务器来做到尽可能离得用户近一点,通过关闭Pacer等网络传输策略的优化。

网络较好的情况下,延迟约为5-10ms。

音频jitter buffer延迟

引入延迟最多的地方,是RTC区别于直播,能做到百毫秒延迟的原因,主要是根据网络状态动态调整jitter buffer的大小。

引入延迟的目的是为了抗抖动,延迟越高,抗抖动能力越强,卡断越少。

相比于延迟,卡顿对于用户体验影响更大,一般会引入100-1000ms的延迟,大部分场景在300ms一下。

优化手段:

减少jitter buffer的大小,结合其他手段来减少卡顿(FEC、NACK、主动重传、快速下降、10ms编码帧长)来防止频繁的卡断。

最小维持在30-40ms,才能保证MOS打分。

理想情况下的总延迟(iOS):

30(采播延迟) + 0(3A+音效bypass)+ 5(编码)+5(上行网络传输)+5(下行网络传输)+35(jitter buffer)+0(后处理算法bypass) = 80ms。

相关推荐
VidDown3 小时前
24fps 转 25fps 不只是改个数字:帧率转换、PAL/NTSC 与音频补偿
python·网络协议·音视频·视频编解码·视频
死磕音视频5 小时前
让小模型做选择题:限定候选项并读取 logits 概率的入门实践(附 Python 代码)
开发语言·python·大模型·文本分类·transformers
北京中科新远科技6 小时前
高速光模块上线验收实战:DOM、FEC、BER与端口计数器怎么一起看
服务器·网络·php
美狐美颜SDK开放平台6 小时前
直播APP如何实现美白滤镜功能?视频美颜SDK技术开发方案详解
前端·数据库·人工智能·音视频·美颜sdk·直播美颜sdk·视频美颜sdk
光锥智能6 小时前
价格从“元”降到“分”,AI视频的下半场开打了
人工智能·音视频
顽疲7 小时前
Java vue 养老系统源码详解:月账单 care_month_bill 与 Quartz 扣费 Job 实践
java·开发语言·vue.js·vue养老·springboot养老·java养老
Wang's Blog7 小时前
Java 项目实战: 交友项目 - 安装开发工具与环境准备
java·开发语言·交友
程序喵大人9 小时前
【C++入门】编译链接模型 - 07 链接器怎样把符号对上号
开发语言·c++·编译器·编译链接·链接器
微三云 - 廖会灵 (私域系统开发)9 小时前
供应链系统实战:多渠道订单聚合与分布式库存一致性方案总结
开发语言·分布式·php
学逆向的10 小时前
C 数据溢出与精度丢失
c语言·开发语言·网络安全