webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

[037:814][152844] (audio_device_buffer.cc:440): [PLAY: 10000msec, 48kHz] callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705

[047:815][152844] (audio_device_buffer.cc:440): [PLAY: 10001msec, 48kHz] callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
敲代码娶不了六花11 小时前
爱死机第四季(秘密关卡)4KHDR国语字幕
音视频
暗夜的彩虹16 小时前
webrtc源码编译【linux/安卓】
android·linux·webrtc
MediaTea1 天前
Ae:项目设置 - 音频
ffmpeg·音视频
phygram1 天前
Singleton: WebRTC中ThreadManager中的单例模式
webrtc
phygram1 天前
WebRTC的三大线程
webrtc
zaige661 天前
【mediapipe】实现卷腹运动识别(视频或摄像头)并计数
opencv·计算机视觉·音视频
唯创知音1 天前
4G报警器WT2003H-16S低功耗语音芯片方案开发-实时音频上传
人工智能·单片机·物联网·音视频·智能家居·语音识别
johnny_hhh1 天前
【音频伴奏分离】UVR5软件介绍
人工智能·音视频·uv
春末的南方城市1 天前
厦门大学联合网易提出StoryWeaver,可根据统一模型内给定的角色实现高质量的故事可视化
人工智能·3d·aigc·音视频·图像生成
如果可以0031 天前
Android Camera系列(八):MediaCodec视频编码下-OpenGL ES离屏渲染
android·音视频·mediacodec·opengl es