webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10000msec, 48kHz\] callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705 \[047:815\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10001msec, 48kHz\] callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
m0_706653231 天前
用PS CC2017实现视频面部优化的新突破
音视频
却道天凉_好个秋1 天前
WebRTC(十六):NetEQ
webrtc·neteq·fec
zhuxian20091 天前
webrtc两个client配对交互信令流程
webrtc
视频技术分享1 天前
音视频SDK的多平台兼容性挑战与适配方案
音视频
REDcker1 天前
WebRTC 源码架构深度解析
架构·webrtc
八角Z2 天前
AI短视频创作实战心得:从玩具到生产力工具亲测
人工智能·机器学习·服务发现·音视频
王家视频教程图书馆2 天前
横屏下的全屏视频 右边视频控制器被虚拟按键遮挡了,解决方式隐藏状态栏,竖屏后在恢复
音视频
EasyDSS2 天前
EasyDSS如何基于LiveKit/AI大模型/AI会议助手/语音转写STT技术破解音视频应用核心痛点
人工智能·音视频·webrtc·语音识别·点播技术·流媒体直播
阿甘编程点滴2 天前
书单号视频搬运软件推荐8款(2026实测版)
人工智能·音视频
liulilittle2 天前
Windows 11 上搭建 YouTube 视频下载工具:yt-dlp + FFmpeg
windows·ffmpeg·音视频