rk3568移植WebRTC AudioProcessing

前言:

大家好,我是飞一样的成长,今天这篇文章主要想分享音频3A的内容。在之前有网友找我怎么移植原生的webrtc到rk3568/rk3588上,当时我自己也没有移植过,后面折腾了一个礼拜才搞定,当时遇到的最大问题,主要是编译器g++对于webrtc最新版本是不兼容的,导致始终无法编译过,后面切换了低一点的版本才搞定:

但是这里面的内容比较多,其实也是可以专门关注webrtc audio模块的,主要就是关注音频3A算法:

  • AEC

  • ANC

  • AGC

其实我自己也关注了很久了的音频3A这块,比如有rk自带的3A模块,还有一些开源的项目:

  • rnnoise

但是效果最好的还是webrtc的效果最好,而且也最成熟,如果从商业开发的角度来看的话。

而且为了简化内容,webrtc 有专门抽取出来的webrtc audio开源模块WebRTC AudioProcessing,所以我的精力就想专门研究里面的3A算法,要搞就搞最好的,不搞杂毛:

同时结合我自己的工作经历,这块的内容还是非常的重要,搞音频最难的地方,就是这块。当然还有底层的音频,也会涉及到算法。在我们做嵌入式开发,音频的指标,也是有严格的标准的,需要用专业的仪器测试,比如说信噪比指标。

rk3568移植WebRTC AudioProcessing:

其实这里没有平台的限制,只是我这里以我手上有的板子来进行移植,其他平台都可以按照我下面的方法进行移植即可。

移植步骤:

  • 1、 meson和ninja安装:
go 复制代码
sudo apt update
sudo apt install meson ninja-build python3-pip
pip3 install --user meson
  • 2、在webrt audio processing源码下创建一个文本,同时里面填写的内容如下:
go 复制代码
[binaries]
c = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-gcc'
cpp = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-g++'
ar = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-ar'
strip = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/aarch64-buildroot-linux-gnu-strip'
pkgconfig = '/home/txp/rk3568/rk3568_sdk/buildroot/output/rockchip_atk_dlrk3568/host/bin/pkg-config'
cmake = 'cmake'

[properties]
needs_exe_wrapper = true# 如果在构建中需要运行可执行文件(通常交叉时不能执行)
exe_wrapper = 'qemu-arm-static'# 如果有 QEMU 支持运行目标可执行文件来生成一些配置

[host_machine]
system = 'linux'
cpu_family = 'arm'
cpu = 'aarch64'
endian = 'little'
  • 3、开始构建和编译:
go 复制代码
meson setup build_arm --cross-file cross_arm_linux.txt --buildtype=release
go 复制代码
cd build_arm
ninja

  • 最后,安装编译出来的库:
go 复制代码
ninja install

查看是否成功了:

可以看到成功了。

最后就开启2025年正式研究音频3A了。

后面的内容,会测试一下效果,先用alsa或者tinyalsa采集音频,然后看一下经过webrtc audio processing处理效果以及里面的具体实现学习。

相关推荐
平行云2 天前
国产GPU云渲染适配实战:驱动兼容、编码调优与多路并发
unity·ue5·webrtc·webgl·实时云渲染·云桌面·像素流送
隐擎fox3 天前
网络传输安全剖析:WebRTC 本地真实 IP 泄漏机制(STUN/TURN)与 Python 防护检测实战
网络·网络协议·tcp/ip·安全·webrtc
福大大架构师每日一题4 天前
mediamtx v1.21.0 发布:Media-over-QUIC、RTSP、HLS、WebRTC 与安全能力全面升级
安全·webrtc
脏脏a6 天前
Neko 自托管实战:WebRTC 远程浏览器、多用户权限与公网访问
webrtc
cuijiecheng20187 天前
从 6.49 秒到约 1.9 秒:RK3588上的WebRTC 实时流启动速度优化记录
webrtc
SendTomo8 天前
SendTomo 与 send.wang 全景对比评测与实战指南
网络·网络协议·tcp/ip·webrtc·p2p
java_logo8 天前
Docker 部署 SRS:轻松搭建实时音视频流媒体平台
docker·容器·webrtc·实时音视频·rtmp·http-flv·轩辕镜像
wjcroom8 天前
一个可以在线多人玩的五子棋开发与布署方法-WebRTC和WebSocket的测试方法
websocket·网络协议·webrtc
cuijiecheng201812 天前
RK3588 WebRTC 实时流卡顿优化:从视频桥接到 H.264 PTS 回退
音视频·webrtc·h.264
SendTomo14 天前
send.wang:基于浏览器WebRTC实现无客户端文件互传
网络·python·网络协议·webrtc·p2p