webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

[037:814][152844] (audio_device_buffer.cc:440): [PLAY: 10000msec, 48kHz] callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705

[047:815][152844] (audio_device_buffer.cc:440): [PLAY: 10001msec, 48kHz] callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
遇到困难睡大觉哈哈13 分钟前
HarmonyOS 音频录制与播放模块
华为·音视频·harmonyos·鸿蒙
波波仔8627 分钟前
视频录像机视频通道是指什么
音视频·视频录像机·选型指标
余~~1853816280031 分钟前
【定制开发】碰一碰发视频系统定制开发,支持OEM
音视频
weixin_486281452 小时前
webRTC实现一对一通话视频流程
音视频·webrtc
远方2.02 小时前
AI视频生成工具清单(附网址与免费说明)
人工智能·音视频
EasyCVR10 小时前
EasyRTC嵌入式视频通话SDK的跨平台适配,构建web浏览器、Linux、ARM、安卓等终端的低延迟音视频通信
android·arm开发·网络协议·tcp/ip·音视频·webrtc
StudyWinter15 小时前
FFmpeg-chapter7和chapter8-使用 FFmpeg 解码视频(原理篇和实站篇)
ffmpeg·音视频
余~~1853816280016 小时前
碰一碰发视频系统之写卡功能开发了,支持OEM
线性代数·矩阵·音视频
q5673152317 小时前
用Go的resty库批量下载公开网站视频
开发语言·golang·音视频
JAVA叶知秋20 小时前
完美解决uni-app打开页面无法自动播放视频的问题
前端·uni-app·音视频