rk3568移植WebRTC AudioProcessing

前言:

大家好,我是飞一样的成长,今天这篇文章主要想分享音频3A的内容。在之前有网友找我怎么移植原生的webrtc到rk3568/rk3588上,当时我自己也没有移植过,后面折腾了一个礼拜才搞定,当时遇到的最大问题,主要是编译器g++对于webrtc最新版本是不兼容的,导致始终无法编译过,后面切换了低一点的版本才搞定:

但是这里面的内容比较多,其实也是可以专门关注webrtc audio模块的,主要就是关注音频3A算法:

  • AEC

  • ANC

  • AGC

其实我自己也关注了很久了的音频3A这块,比如有rk自带的3A模块,还有一些开源的项目:

  • rnnoise

但是效果最好的还是webrtc的效果最好,而且也最成熟,如果从商业开发的角度来看的话。

而且为了简化内容,webrtc 有专门抽取出来的webrtc audio开源模块WebRTC AudioProcessing,所以我的精力就想专门研究里面的3A算法,要搞就搞最好的,不搞杂毛:

同时结合我自己的工作经历,这块的内容还是非常的重要,搞音频最难的地方,就是这块。当然还有底层的音频,也会涉及到算法。在我们做嵌入式开发,音频的指标,也是有严格的标准的,需要用专业的仪器测试,比如说信噪比指标。

rk3568移植WebRTC AudioProcessing:

其实这里没有平台的限制,只是我这里以我手上有的板子来进行移植,其他平台都可以按照我下面的方法进行移植即可。

移植步骤:

  • 1、 meson和ninja安装:
go 复制代码
sudo apt update
sudo apt install meson ninja-build python3-pip
pip3 install --user meson
  • 2、在webrt audio processing源码下创建一个文本,同时里面填写的内容如下:
go 复制代码
[binaries]
c = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-gcc'
cpp = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-g++'
ar = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-ar'
strip = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-strip'
pkgconfig = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/pkg-config'
cmake = 'cmake'

[properties]
needs_exe_wrapper = true# 如果在构建中需要运行可执行文件(通常交叉时不能执行)
exe_wrapper = 'qemu-arm-static'# 如果有 QEMU 支持运行目标可执行文件来生成一些配置

[host_machine]
system = 'linux'
cpu_family = 'arm'
cpu = 'aarch64'
endian = 'little'
  • 3、开始构建和编译:
go 复制代码
meson setup build_arm --cross-file cross_arm_linux.txt --buildtype=release
go 复制代码
cd build_arm
ninja

  • 最后,安装编译出来的库:
go 复制代码
ninja install

查看是否成功了:

可以看到成功了。

最后就开启2025年正式研究音频3A了。

后面的内容,会测试一下效果,先用alsa或者tinyalsa采集音频,然后看一下经过webrtc audio processing处理效果以及里面的具体实现学习。

相关推荐
换个昵称都难4 天前
webrtc peerconnection_server 模块介绍
运维·服务器·webrtc
EasyGBS4 天前
延迟直降90%!国标GB28181视频平台EasyGBS支持WebRTC WHIP推流设备接入,让万物互联更简单
音视频·webrtc
换个昵称都难5 天前
webrtc RtpRtcp模块化测试-MockRtpRtcp
webrtc
如意IT5 天前
指纹浏览器检测之BrowserScan的webrtc指纹检测和反检测
自动化·webrtc·chromium·浏览器开发
换个昵称都难5 天前
webrtc TURN 主要源码介绍
webrtc
换个昵称都难5 天前
webrtc RTC_P2P源码解析
asp.net·webrtc·p2p
换个昵称都难5 天前
webrtc StunServer源码介绍
webrtc
数据知道6 天前
指纹浏览器:DNS 泄漏防范与 WebRTC 本地 IP 屏蔽的底层实现
爬虫·网络协议·tcp/ip·安全·webrtc·数据采集·指纹浏览器
换个昵称都难7 天前
webrtc源码解析概要介绍
webrtc
换个昵称都难7 天前
WebRTC 完整调用流程(前端纯 JS 实现,最简可运行)
webrtc