Webrtc音频模块(四) 音频采集

音频的采集还是封装在AudioDeviceWindowsCore中,相关的Core Audio API接口是下面几个:

IAudioClient* _ptrClientIn
IAudioCaptureClient* _ptrCaptureClient
rtc::scoped_refptr<IMediaObject> _dmo
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer

音频的采集一样的通过Core Audio API实现,上面的_ptrClientIn_ptrCaptureClient就是采集接口对象。_dmo是DMO接口对象,_mediaBuffer是它使用的buffer接口对象,它们也用于采集。

webrtc中实现两种模式的音频采集

  • 通过IAudioCaptureClient,通过_ptrClientIn_ptrCaptureClient实现。
  • 通过IMediaObject从DMO取音频数据,通过_dmo实现。

这篇文章只介绍通过DMO的方式采集音频数据。

DMO

DMO 是 DirectX Media Object,看一看官方说明,如下:

DirectX Media Objects (DMOs) are COM-based multimedia and data-streaming components. In some respects, DMOs are similar to DirectShow filters. Like DirectShow filters, DMOs take input data and use it to produce output data. As the APIs for DMOs are much simpler than the corresponding APIs for DirectShow, they are easier to create, test, and use. For encoding/decoding, audio capture, audio processing and video processing effects, Microsoft encourages developers to write a DMO instead of a DirectShow filter.

它是一个COM组件,用来处理音视频数据,在webrtc中使用了音频处理功能。

一些高档的麦克风,很多都标注提供了回声消除,降噪等功能,通过DMO就可以利用这些硬件提供的功能。

Webrtc中使用DMO

AudioDeviceWinodwsCode中与DMO相关的变量是下面三个:

rtc::scoped_refptr<IMediaObject> _dmo;
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer;
bool _builtInAecEnabled;

一个是DMO的COM接口对象,一个是用于从DMO取数据的Buffer接口,一个是否使用DMO的使能标志。

默认情况下_builIntAecEnabled为true,音频的采集将会从DMO中取处理后的音频数据,通过IMediaBuffer接口取数据。

初始化代码可以看看AudioDeviceWindowsCore::InitRecordingDMO()中的实现。在AudioDeviceWindowsCore::InitRecordingDMO()中,会设置DMO的数据输出的格式,用的也是前面介绍过的WAVEFORMATEX结构来描述音频的参数。

在AudioDeviceWindowsCore::SetDMOProperties()方法中,设置了DMO要开启的音频处理功能,webrtc会使用DMO的回声消除,降噪音频处理功能。

从DMO中取数据

音频的采集就是从DMO中取经过处理后的音频数据,它包括以下几步:

  1. 需要创建一个IMediaBuffer接口对象的实例。
  2. 将DMO_OUPUT_DATA_BUFFER中pBuffer成员指向自己的Buffer。
  3. 将DMO_OUPUT_DATA_BUFFER对象传给IMediaObject的ProcessOutPut接口。
  4. 调用IMediaObject的GetBufferAndLength接口来获取数据。

DMO数据采集线程实现DoCaptureThreadPollDMO,如下流程:

相关推荐
EasyDSS21 分钟前
国标GB28181-2022平台EasyGBS:安防监控中P2P的穿透方法
网络协议·php·音视频·p2p
Amarantine、沐风倩✨8 小时前
设计一个监控摄像头物联网IOT(webRTC、音视频、文件存储)
java·物联网·音视频·webrtc·html5·视频编解码·七牛云存储
量子-Alex9 小时前
【多模态聚类】用于无标记视频自监督学习的多模态聚类网络
学习·音视频·聚类
icy、泡芙13 小时前
T527-----音频调试
linux·驱动开发·音视频
易我数据恢复大师13 小时前
怎么提取音频保存到本地?电脑音频提取方法
音视频·软件·音频提取
野蛮的大西瓜13 小时前
开源呼叫中心中,如何将ASR与IVR菜单结合,实现动态的IVR交互
人工智能·机器人·自动化·音视频·信息与通信
嘟嘟实验室15 小时前
微信小程序xr-frame透明视频实现
微信小程序·ffmpeg·音视频·xr
红米饭配南瓜汤17 小时前
WebRTC服务质量(09)- Pacer机制(01) 流程概述
网络·音视频·webrtc
是十一月末20 小时前
Python进阶之opencv图片和视频基本读取关闭
python·opencv·音视频·cv2