webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10000msec, 48kHz\] callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705 \[047:815\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10001msec, 48kHz\] callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
ACP广源盛139246256732 小时前
GSV2712@ACP#2 进 1 出 HDMI 2.0/Type-C DisplayPort 1.4 混合切换器 + 嵌入式 MCU
单片机·嵌入式硬件·计算机外设·音视频
AI周红伟2 小时前
通义万相开源14B数字人Wan2.2-S2V!影视级音频驱动视频生成,助力专业内容创作
音视频
AI周红伟3 小时前
数字人视频生成:Wan2.2-S2V-14B: 音频驱动的电影视频生成
音视频
EasyCVR3 小时前
智能农业实践:视频融合平台EasyCVR的农业大棚可视化监控方案
音视频
赖small强5 小时前
【音视频开发】CMOS Sensor图像采集原理及Linux主控ISP处理流程
linux·音视频·cmos·isp·v4l2
EasyCVR6 小时前
视频汇聚平台EasyCVR助力打造太阳能供电远程视频监控系统
音视频
北极光SD-WAN组网6 小时前
如何实现异地视频文件共享?组网技术的深度解析
开发语言·php·音视频
好游科技7 小时前
赋能私有化沟通:定制即时通讯与音视频系统助推企业数字化转型
音视频·社交软件·社交聊天软件开发·社交语音视频软件·私有化部署im即时通讯
萧鼎7 小时前
告别 PR!用 Python + MoviePy 自动化剪辑视频
python·自动化·音视频
DO_Community7 小时前
碾压GPT-5,Qwen3-VL开源多模态新标杆:99.5%长视频定位准确率
人工智能·gpt·开源·llm·音视频