webrtc音频模块(五) AudioState和AudioDeviceBuffer

AudioStateAudioDeviceBuffer是音频处理模块的两个功能类。两者没有直接的关系,只是放在这里一起总结。

AudioState

它是WebRtVoiceEngine的大管家,如下图所示类的关系:

如下类图:

它的作用:

  1. 外面访问Engine中AudioDeviceModuleAudioProcessingAudioMixer都是通过AudioState接口。
  2. 各个Call中的Stream对象会被映射到AudioState对象中,进而更新AudioTransportImpl的状态。

AudioDeviceBuffer

它有两个作用:

  1. AudioDeviceBuffer是ADM和Audio Core API间的数据缓存区。

ADM播放和采集的数据,总会通过 AudioDeviceBuffer 拿进来或者送出去 10 ms 的音频数据。对于不支持采集和播放 10 ms 音频数据的平台,在平台的AudioDeviceModule 和 AudioDeviceBuffer 还会插入一个 FineAudioBuffer(比如IOS),用于将平台的音频数据格式转换为 10 ms 的 WebRTC 能处理的音频帧。

  1. 记录音频设备的工作情况,每10s打印一次,记录的值有播放的sample数,最大音量等信息,可用于检测当前硬件的工作状态。

037:814152844 (audio_device_buffer.cc:440): PLAY: 10000msec, 48kHz callbacks: 1000, samples: 480000, rate: 48000, rate diff: 0%, level: 705

047:815152844 (audio_device_buffer.cc:440): PLAY: 10001msec, 48kHz callbacks: 1001, samples: 480480, rate: 48043, rate diff: 0%, level: 1076

如下类图,

音频引擎数据流转

从下面这个图中可以看到AudioStateAudioDeviceBuffer的角色。



相关推荐
奈斯先生Vector9 分钟前
AI 视频不是会动的图片:用 Shot Contract、时间码与音画质检构建可交付流水线
人工智能·重构·架构·prompt·aigc·音视频
ai产品老杨20 分钟前
AI视频分析并发优化参数配置说明
人工智能·音视频
怪奇云呼军24 分钟前
G.711、Opus 和重采样会拖慢识别吗?闪电智能VoiceAgent 的音频入口怎么选
java·人工智能·python·算法·云计算·音视频
DogDaoDao1 小时前
MSU 2026 视频编解码大赛放榜深度解读
音视频·视频编解码·hevc·av1·h266·msu·avs
caimouse2 小时前
ReactOS 图形系统分析(2):视频端口驱动 videoprt.sys
音视频
AI视觉网奇3 小时前
动作识别 视频理解大模型
开发语言·python·音视频
DogDaoDao3 小时前
NNVC-17.1 深度解析:神经网络视频编码的最新进展与性能全景
神经网络·音视频·视频编解码·h266·vvc·vtm·nnvc
SendTomo3 小时前
跨设备文件互传新方案
javascript·网络·webrtc·html5·p2p
科技新资讯3 小时前
视频出海精细化升级:帧级对口型技术与商用工具落地能力分析
人工智能·音视频
诸葛大钢铁3 小时前
视频转音频怎么转换?在线工具、VLC、FFmpeg 三种方法详解
ffmpeg·音视频·mp4转mp3·视频转音频·视频转mp3·视频提取音频