webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10000msec, 48kHz\] callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705 \[047:815\]\[152844\] (audio_device_buffer.cc:440): \[PLAY: 10001msec, 48kHz\] callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
雨之小3 小时前
RV1106+es8388音频采集和播放调试
音视频·rv1106·es8388
EasyCVR3 小时前
不止于“看”:视频汇聚平台EasyCVR视频监控系统功能特点详解
音视频
来知晓8 小时前
语音处理:音频移形幻影,为何大振幅信号也无声
开发语言·音视频
阿酷tony8 小时前
开源项目:FlyCut Caption智能视频字幕裁剪工具
音视频·智能视频字幕裁剪·视频字幕裁剪
CodeJourney.8 小时前
Sora引爆AI视频革命
人工智能·音视频
2501_920955578 小时前
MP4格式视频无法播放怎么修?4个修复方法,解决难题
音视频
ZEGO即构开发者8 小时前
【ZEGO即构开发者日报】谷歌推出新款视频生成模型 Veo 3.1;腾讯开源通用文本表示模型Youtu-Embedding;AI 陪伴赛道观察……
人工智能·音视频·实时音视频·业界资讯
给大佬递杯卡布奇诺9 小时前
FFmpeg 基本API avformat_open_input函数内部调用流程分析
c++·ffmpeg·音视频
JAVA学习通11 小时前
开源 | MeiGen-MultiTalk:基于单张照片实现多人互动演绎
大数据·音视频·视频