webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814152844 (audio_device_buffer.cc:440): PLAY: 10000msec, 48kHz callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705

047:815152844 (audio_device_buffer.cc:440): PLAY: 10001msec, 48kHz callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
qetfw20 分钟前
yt-dlp:下载公开视频、字幕、封面和音频的实用命令
python·音视频·开源项目·效率工具
AI服务老曹1 小时前
实战记录:H264/H265视频分析项目接入与性能评估指南
音视频
amongdata1 小时前
MyVoiceTyping:面向中文语音输入的本地优先开源方案
python·开源·音视频·语音识别
做萤石二次开发的哈哈2 小时前
如何接入萤石开放平台 ERTC Windows SDK?
windows·音视频·萤石开放平台
xian_wwq3 小时前
【学习笔记】多模态部署:VLM、语音、视频理解(29/35)
笔记·学习·音视频
对牛乱弹琴12 小时前
音视频格式解析工具推荐
音视频·视频编解码
EasyGBS14 小时前
RTSP、RTMP、HLS、FLV、WebRTC……国标GB28181视频平台EasyGBS五大流媒体协议,你的场景该用哪个?
音视频·webrtc
AI服务老曹17 小时前
Docker部署AI视频分析平台参数配置说明与调优指南
人工智能·docker·音视频
weixin_4462608518 小时前
SportMV-Agent:面向多机位体育视频的智能体多视角推理框架 & SportMV-Bench评测基准
人工智能·计算机视觉·音视频
明哥聊AI1 天前
AI音乐生成技术全景:Suno V4与Udio背后的音频扩散模型深度解析(2026最新)
人工智能·音视频