webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10000msec, 48kHz\] callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705 \[047:815\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10001msec, 48kHz\] callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
罗兰Yolanda2 小时前
影视后期全流程的核心软件及工作站配置方案推荐
计算机视觉·音视频
好多渔鱼好多5 小时前
【流媒体协议】WebRTC 技术详解
webrtc
大大祥5 小时前
Android FFmpeg集成
android·ffmpeg·kotlin·音视频·jni·ndk·音视频编解码
txp玩Linux5 小时前
webrtc降噪模块NS源码解析(1)
webrtc
开开心心_Every6 小时前
视频无损压缩工具:大幅减小体积并保持画质
游戏·微信·pdf·excel·音视频·语音识别·tornado
EasyCVR6 小时前
解析视频融合平台EasyCVR视频智能分析技术背后的技术支撑
人工智能·音视频
一只小bit8 小时前
Qt 多媒体:快速解决音视频播放问题
前端·c++·qt·音视频·cpp·页面
老兵发新帖8 小时前
实时视频流检测问题分析:11秒视频保存的标注视频只有3秒
音视频
纽格立科技9 小时前
数字广播内容服务器NGA-101 DRM媒体编码器
网络·音视频·信息与通信·传媒·媒体
EasyCVR9 小时前
视频汇聚平台EasyCVR智慧水利工程全域可视化视频监控技术应用实践
音视频