音频回音消除算法原理分析-DTLN

一、回声消除的代码逻辑

之前已经介绍了回音产生的原理和大体消除的流程,今天谈谈我们真正写代码逻辑的时候,如何处理回音消除算法。

第一,我们写音视频程序开发的时候,首先考虑的是架构设计,所以一般会设计成音频采集逻辑一个线程,音频播放逻辑一个线程,数据通信通过队列加锁的方式,这样处理上可以并行,并且代码看着更清晰,逻辑也简单,可以做到收发数据分离,但是在处理回音算法问题上就会出现或多或少的问题了。

因为大家都知道,我们做回声消除算法,涉及到mic采集和speaker播放的配合,需要采集信号和参考信号的同步,这里面就有一些技术门道了,那下面我们就探讨下,做回音消除处理,是在一个线程里面做,还是在两个线程里面处理比较好?先不说好坏,下面先来具体分析下利弊:

1、单线程实现采集和播放:

当收到对端的音频数据后,放到缓存队列A中,

(1) 从队列A中拿一个speaker数据D2做AEC的参考信号fe;

(2) 播放刚才从队列A中拿出的speaker数据D2,这个D2就是下次mic采集时候的回音;

(3) mic采集音频数据D1,D1里面有上次播放的回音数据D2;

(4) 做AEC(D1,D2,echo);

从D1中消除D2;发送D1数据;

以上步骤每次做AEC的D1,D2整体时间基本很固定,相差无几,基本不会影响AEC算法内部的回音检测和学习收敛。

2、多线程实现采集和播放:

采集:

(1) mic采集音频数据D1;

(2) 从队列A中拿一个speaker数据D2作参考;

(3) 做AEC(D1,D2,echo);

播放:

当收到对端的音频数据后,放到缓存队列A中,播放;

这样,做AEC的D1,D2的时间就跟你代码程序处理的好坏关系很大了,如果处理的不好,那每次时间就不是很固定,AEC算法内部有可能需要重新学习和收敛了。

二、应用算法

我最近基于webrtc的回音消除算法做了一个测试,内部对核算处理算法做了一些优化,目前这个算法可以应用到多种平台,像windows、linux、android、ios、arm平台都可以支持,大家可以看下,效果可以达到业界领先水平,基本上在很短时间内就可以完成回音收敛算法的学习。

项目地址download.csdn.net/download/un...

里面包含测试程序和可执行文件,windows平台和linux平台的我都已经编译好了,大家可以测试看下效果,接口调用也比较简单,如果需要商用的话可以跟我联系,或者有技术问题想要沟通、交流的也非常欢迎。

如果需要技术问题沟通、技术交流讨论、业务合作也非常欢迎。

联系方式:

vx:unique_no_1

tel:18108010758

相关推荐
音视频牛哥7 小时前
RTSP协议规范深度解析与SmartMediaKit的RTSP播放器工程实践
人工智能·计算机视觉·音视频·大牛直播sdk·rtsp播放器·超低延迟rtsp播放器·rtspplayer
sweetone12 小时前
故障现象 并非玄学——LINN(莲)MAJIK功放维修记录
经验分享·音视频
不吃鱼的猫74816 小时前
【从零手写播放器:FFmpeg 音视频开发实战】04-封装格式与多媒体容器
c++·ffmpeg·音视频
九丝城主19 小时前
1V1音视频对话4--FLUTTER实现
flutter·音视频
张张说点啥20 小时前
能做影视级可商业视频的AI工具,Seedance 2.0 全球首发实测
人工智能·音视频
qq_4335021820 小时前
收集了一些免费视频背景映月素材网站分享记录
经验分享·学习·音视频·生活
上海合宙LuatOS2 天前
LuatOS核心库API——【hmeta 】硬件元数据
单片机·嵌入式硬件·物联网·算法·音视频·硬件工程·哈希算法
一个人旅程~2 天前
QQ音乐、potplayer、VLC等对音乐格式的支持和加密文件格式的转换有哪些方法?potplayer的音质相对于VLC有哪些特点?
windows·经验分享·电脑·音视频
音视频牛哥2 天前
从协议栈到工程落地:SmartMediaKit全链路模块化架构深度解析
音视频·rtsp播放器·rtmp播放器·安卓rtsp服务器·安卓轻量级rtsp服务·安卓rtsp摄像头推流·安卓摄像头rtmp推流
奔跑吧 android2 天前
【车载Audio】【AudioHal 04】【高通音频架构】【从 AHAL adev_open 到 PAL XML 解析:30微秒内的调用链深度追踪】
音视频·audiohal·车载audio·高通音频架构·ahal·audiofinger