Webrtc音频模块(四) 音频采集

音频的采集还是封装在AudioDeviceWindowsCore中,相关的Core Audio API接口是下面几个:

IAudioClient* _ptrClientIn
IAudioCaptureClient* _ptrCaptureClient
rtc::scoped_refptr<IMediaObject> _dmo
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer

音频的采集一样的通过Core Audio API实现,上面的_ptrClientIn_ptrCaptureClient就是采集接口对象。_dmo是DMO接口对象,_mediaBuffer是它使用的buffer接口对象,它们也用于采集。

webrtc中实现两种模式的音频采集

  • 通过IAudioCaptureClient,通过_ptrClientIn_ptrCaptureClient实现。
  • 通过IMediaObject从DMO取音频数据,通过_dmo实现。

这篇文章只介绍通过DMO的方式采集音频数据。

DMO

DMO 是 DirectX Media Object,看一看官方说明,如下:

DirectX Media Objects (DMOs) are COM-based multimedia and data-streaming components. In some respects, DMOs are similar to DirectShow filters. Like DirectShow filters, DMOs take input data and use it to produce output data. As the APIs for DMOs are much simpler than the corresponding APIs for DirectShow, they are easier to create, test, and use. For encoding/decoding, audio capture, audio processing and video processing effects, Microsoft encourages developers to write a DMO instead of a DirectShow filter.

它是一个COM组件,用来处理音视频数据,在webrtc中使用了音频处理功能。

一些高档的麦克风,很多都标注提供了回声消除,降噪等功能,通过DMO就可以利用这些硬件提供的功能。

Webrtc中使用DMO

AudioDeviceWinodwsCode中与DMO相关的变量是下面三个:

复制代码
rtc::scoped_refptr<IMediaObject> _dmo;
rtc::scoped_refptr<IMediaBuffer> _mediaBuffer;
bool _builtInAecEnabled;

一个是DMO的COM接口对象,一个是用于从DMO取数据的Buffer接口,一个是否使用DMO的使能标志。

默认情况下_builIntAecEnabled为true,音频的采集将会从DMO中取处理后的音频数据,通过IMediaBuffer接口取数据。

初始化代码可以看看AudioDeviceWindowsCore::InitRecordingDMO()中的实现。在AudioDeviceWindowsCore::InitRecordingDMO()中,会设置DMO的数据输出的格式,用的也是前面介绍过的WAVEFORMATEX结构来描述音频的参数。

在AudioDeviceWindowsCore::SetDMOProperties()方法中,设置了DMO要开启的音频处理功能,webrtc会使用DMO的回声消除,降噪音频处理功能。

从DMO中取数据

音频的采集就是从DMO中取经过处理后的音频数据,它包括以下几步:

  1. 需要创建一个IMediaBuffer接口对象的实例。
  2. 将DMO_OUPUT_DATA_BUFFER中pBuffer成员指向自己的Buffer。
  3. 将DMO_OUPUT_DATA_BUFFER对象传给IMediaObject的ProcessOutPut接口。
  4. 调用IMediaObject的GetBufferAndLength接口来获取数据。

DMO数据采集线程实现DoCaptureThreadPollDMO,如下流程:

相关推荐
源码_V_saaskw3 小时前
JAVA图文短视频交友+自营商城系统源码支持小程序+Android+IOS+H5
java·微信小程序·小程序·uni-app·音视频·交友
肥or胖11 小时前
【音视频协议篇】WebRTC 快速入门
ffmpeg·音视频·webrtc
aqi0012 小时前
FFmpeg开发笔记(七十八)采用Kotlin+Compose的NextPlayer播放器
android·ffmpeg·音视频·直播·流媒体
tang_jian_dong16 小时前
springboot + vue3 拉取海康视频点位及播放
spring boot·后端·音视频
青牛科技-Allen19 小时前
GC8871刷式直流电机驱动器深度解析:3.6A驱动与内置电流检测技术
单片机·嵌入式硬件·音视频·音响·电动工具·散热风扇·电脑散热风扇
守城小轩1 天前
WebRTC指纹识别——未来展望(下篇)
chrome·webrtc·chrome devtools·指纹浏览器·浏览器开发
守城小轩1 天前
WebRTC指纹——技术背景(上篇)
webrtc·chrome devtools·指纹浏览器·浏览器开发·超级浏览器
Tracy9731 天前
HF83311_VB1/HF83311Q_VB1:高性能USB HiFi音频解码器固件技术解析
音视频·xmos 模组·xmos 模组固件
_可乐无糖1 天前
AWS WebRTC:我们的业务模式
云计算·音视频·webrtc·aws
小虎卫远程打卡app1 天前
webRTC合并本地源码修改和官方更新
webrtc