webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioState和AudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModule,AudioProcessing,AudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814152844 (audio_device_buffer.cc:440): PLAY: 10000msec, 48kHz callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705

047:815152844 (audio_device_buffer.cc:440): PLAY: 10001msec, 48kHz callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioState及AudioDeviceBuffer的角色。



相关推荐
Light601 小时前
谁在给大模型出题、卖题、判卷:一门 300 亿估值的生意,和它正在漏掉的部分
音视频
甜到心里的蛋糕2 小时前
云主机部署图片/视频管理系统的实践经验
python·音视频
可乐鸡翅yeah_2 小时前
HLS 业务 Referer‑Policy 网页元标签引发播放异常排错
前端·javascript·网络·ffmpeg·php·音视频
YEGE学AI算法2 小时前
KWS语音唤醒系统完整链路:音频前处理、Fbank、阈值与冷却逻辑
python·音视频·语音唤醒·kws·fbank
EasyDSS3 小时前
基于WebRTC的视频会议系统:私有化视频会议平台EasyDSS视频会议到底能干什么
音视频·webrtc·easydss
mont evergreen4 小时前
RTMP 连接单元测试之旅
单元测试·音视频·源码解读
阿明副业观察4 小时前
AI视频生成工具:功能、特点与高效制作攻略
人工智能·音视频
weixin_690654744 小时前
龙迅#LT7911EXS 高性价比IC,功能适用于HDMI/DP/TPYE-C转单PORT MIPICSI/DSI ,分辨率高达4K60HZ。
嵌入式硬件·音视频·信号处理
Likeadust6 小时前
应急调度不再碎片化!一套视频会议/直播/点播/集群对讲EasyDSS打造一体化音视频指挥平台
音视频·媒体·easydss