webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10000msec, 48kHz\] callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705 \[047:815\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10001msec, 48kHz\] callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
EasyCVR1 天前
国标GB28181视频监控平台EasyCVR智慧农场监管可视化方案设计
音视频
雾江流1 天前
HDx播放器1.0.184 | 支持多种格式和4K/8K高清视频播放,内置推特~脸书下载器
音视频·软件工程
tongyue1 天前
智慧家居——Flask网页视频服务器
服务器·flask·音视频
美狐美颜SDK开放平台2 天前
从零到一:开发直播的美颜sdk与滤镜特效技术解析
人工智能·音视频·美颜sdk·直播美颜sdk·视频美颜sdk
YRYDZFtyVKg2 天前
光伏MPPT仿真之扰动观察法探索
webrtc
ComputerInBook2 天前
视频编码解码基础——P帧&I帧&B帧
人工智能·音视频·视频编码
Bruce_Liuxiaowei2 天前
适配安可系统的广电视频服务器点名开源模块推荐
服务器·开源·音视频
indexsunny2 天前
互联网大厂Java面试实战:音视频场景下的Spring Boot与Kafka应用解析
java·spring boot·redis·微服务·面试·kafka·音视频
山东布谷网络科技2 天前
海外1v1视频社交APP开发难点与核心功能全解析
开发语言·数据库·mysql·ios·php·音视频·软件需求
小咖自动剪辑2 天前
视频批量智能分割工具:一键自动剪辑与镜头识别教程
音视频