WEBRTC——AGC API

语音信号处理入门webrtc无疑是最经典的算法。

一、WEBRTC框架

我们主要care 红框部分第3部分:

  1. SAC/iLBC Codec: 这个模块主要是编解码,iSAC/iLBC 是jips公司开发的,另外有我们熟悉的音频G711, G726,AAC, Opus 目前使用的最多也是Opus,几年前AAC也是很火的,你可以自己把AAC模块加入到WebRTC里面.其中WebRTC中使用的是Opus,后面的会详细讲解这块的知识。

  2. NetEQ for voice: NetEQ实际上是一个音频缓冲的buffer,用于做网络的适配。如我们做防止音频抖动,这里面涉及了很多相关的算法

  3. Echo Canceler/ Noise Reduction: 这里面解决了很多做音频头疼的问题:回音消除,降噪等问题处理算法。回音消除是困扰很多公司的一个头疼的技术,但WebRTC里面提供了非常成熟,稳定的回音消除算法,值得好好研究,应用到自己的产品中。其实很多算法工程师做的也是利用像WebRTC一样的开源代码,自己调一些参数,来提高音频质量。

仓库https://github.com/webrtc-sdk/webrtc

二、AGC使用

dbfs 表示(full scale):

样本点幅度值 Sample 与分贝 dB 之间的关系,以 16bit 量化的音频采样点为例:dB = 20 * log10(Sample / 32768.0),(16bit-pcm编码)

核心参数:

复制代码
typedef struct {
  int16_t targetLevelDbfs;    // 目标音量
  int16_t compressionGaindB;  // 增益能力
  uint8_t limiterEnable;      // 压限器开关
} AliyunAgcConfig;

目标音量 - targetLevelDbfs:表示音量均衡结果的目标值,如设置为 1 表示输出音量的目标值为 - 1dB;

增益能力 - compressionGaindB:表示音频最大的增益能力,如设置为 10dB,最大可以被提升 10dB;

压限器开关 - limiterEnable:一般与 targetLevelDbfs 配合使用,compressionGaindB 是调节小音量的增益范围,limiter 则是对超过 targetLevelDbfs 的部分进行限制,避免数据爆音。

三、API使用

新版agc接口与旧版本区域在于,process拆分成了gain计算过程和aply gain的过程,两个函数。

  1. 增益表计算
cpp 复制代码
/**
 * digCompGaindB:表示音频最大的增益能力,如设置为 10dB,最大可以被提升 10dB;
 * targetLevelDbfs:表示音量均衡结果的目标值,如设置为 1 表示输出音量的目标值为 - 1dB;
 * limiterEnable:一般与 targetLevelDbfs 配合使用,compressionGaindB 是调节小音量的增益范围,limiter 则是对超过 targetLevelDbfs 的部分进行限制,避免数据爆音
 * analogTarget:
 */
int32_t WebRtcAgc_CalculateGainTable(int32_t* gainTable,       // Q16
                                     int16_t digCompGaindB,    // Q0
                                     int16_t targetLevelDbfs,  // Q0
                                     uint8_t limiterEnable,
                                     int16_t analogTarget)
  1. 增益计算
cpp 复制代码
// lowlevelSignal: 外部自定义使用 RMS 或峰值检测信号是否处于低电平,来置位该信号
int32_t WebRtcAgc_ComputeDigitalGains(DigitalAgc* stt,
                                      const int16_t* const* in_near,
                                      size_t num_bands,
                                      uint32_t FS,
                                      int16_t lowlevelSignal,
                                      int32_t gains[11])

增益计算会将输入一段音频拆分为10个子段,每段1ms(16k为例),每段上计算增益。

gain[0]:保存上一次agc处理的最后一段计算的增益

gain[1]~gain[10]:保存本次计算10段的增益

内部会先用传统算法做vad,计算语音和噪声能量的比值logratio,再用确定衰减系数decay。

  1. 增益应用
cpp 复制代码
/**
 * 增益应用函数
 * gains:上一步计算的音频增益
 * in_near:输入音频
 * out:输出音频
 */
int32_t WebRtcAgc_ApplyDigitalGains(const int32_t gains[11],
                                    size_t num_bands,
                                    uint32_t FS,
                                    const int16_t* const* in_near,
                                    int16_t* const* out)

增益应用到输入音频上,完成音频的自动增益控制。

相关推荐
通信小呆呆8 小时前
当波束搜索遇见信道编码和反向传播:两种让“粗搜索”不再犯错的新思路
人工智能·信息与通信·信号处理·信道编码·波束扫描
扣脑壳的FPGAer15 小时前
数字信号处理学习笔记--Chapter 1.4.1 时域采样定理基本概念
笔记·学习·信号处理
RTC老炮1 天前
RaptorQ前向纠错算法架构分析
网络·算法·架构·webrtc
Aaron15882 天前
RFSOC+VU13P+RK3588的核心优势与应用场景分析
嵌入式硬件·算法·matlab·fpga开发·信息与通信·信号处理·基带工程
Aaron15882 天前
8通道测向系统演示科研套件
人工智能·算法·fpga开发·硬件工程·信息与通信·信号处理·基带工程
Ulyanov3 天前
ZeroMQ在分布式雷达仿真中的应用
分布式·python·信号处理·系统仿真·雷达电子对抗
许彰午3 天前
# 政务远程帮办:WebRTC视频通话+录屏录音+手工拼WAV实录
音视频·webrtc·政务
fpcc3 天前
信号处理与AI中的卷积的关系
c++·人工智能·信号处理
coder阿龙3 天前
基于PeerJS实现网页WebRTC屏幕分享
webrtc
RTC老炮4 天前
带宽估计算法(gcc++)架构设计及优化
网络·算法·webrtc