webrtc音频模块介绍(一) 音频引擎的架构

音频引擎的架构图

  • ADM位于最下层,直接于各种系统的音频设备打交道。
  • 音频引擎的音频处理模块包括: 音频编解码,Mixer(混音),AudioProcess(3A算法)。

音频引擎的数据流转图

音频引擎全局只有一个,由所有的call对象所共享(一个pc对象对应一个call对象),各个call中的stream都会放在引擎的AudioState对象中。

  • 蓝色箭头 是播放时音频流的流程,AudioDeviceBufferAudioTransportMixer中取混音后的数据,Mixer从各AudioReceiveStream取数据混音。 音频数据最终会通过ADM的回放接口播放。
  • 红色箭头是采集音频的流程。
  • 采集的音频只有一个,采集的音频会向多个端发送数据。
  • 接收的音频有多个,多个音频会经过混音变成一个。

音频引擎中的核心对象

  • AudioDeviceModule就是ADM,与系统中的音频设备打交道。
  • AudioProcessing 音频处理算法(3A算法)。
  • AudioMixer音频混音。
  • AudioState是一个对象管理及音频数据流转。它管理其它三个对象,并且管理所有的call对象中AudioStream
  • 音频编解码对象,AudioEncoderFactoryAudioDecoderFactory
相关推荐
ai产品老杨5 分钟前
打破品牌孤岛:基于 GB28181 与 ZLMediaKit 的多协议视频统一接入网关架构
架构·音视频
视***间15 分钟前
智采高清,视界无界——视程空间视频采集卡,定义专业采集新标杆
人工智能·机器人·音视频·边缘计算·采集卡·视程空间·视频采集卡
不吃鱼的猫74833 分钟前
Janus WebRTC Gateway -- 从零搭建完整指南
gateway·webrtc
KevinCyao40 分钟前
app视频短信接口如何集成?提升移动端APP用户促活的视频短信方案
音视频·视频短信
潜创微科技--高清音视频芯片方案开发41 分钟前
2026年主流HUB芯片服务商选型评估能力分析
音视频·硬件工程
weixin199701080161 小时前
《好看视频商品详情页前端性能优化实战》
前端·性能优化·音视频
AI2512241 小时前
主流AI视频生成工具技术测评对比:生成质量与性能分析
人工智能·音视频
EasyGBS1 小时前
国标GB28181视频分析平台EasyGBS视频质量诊断核心能力与多场景应用实践
音视频
拉什福德Rashford1 小时前
一个人就是一支影视团队:实测国内最强影视级 AI 视频创作平台 TapNow——告别抽卡,导演级精准控制
人工智能·科技·ai作画·aigc·音视频·产品经理
EasyDSS2 小时前
私有化视频会议系统/视频高清直播点播EasyDSS企业级融媒体平台重塑智慧医疗协作新生态
音视频·媒体