metaRTC8.0,一个全新架构的webRTC SDK库

概述

metaRTC8.0是metaRTC开源以来架构变化最大的一个版本,是metaIPC3.0等高性能的基础。

metaRTC8.0是一个全新架构版本,并非在metaRTC7.0版本上简单升级,在QOS/语音对讲/内存占用/视频文件录制读取等方面新增多个模块,在弱网对抗/语音对讲/内存优化等效果上有显著提升。

metaRTC8.0在一年多的开发中进行了近200次迭代,metaRTC8.0社区版计划在2025年中推出,敬请期待!

New Feature

新增模块都是纯C实现,都在libmetartccore8工程里。

YangIce

YangIce实现了webRTC ICE FULL-ICE,更适合在公网跨网建立连接。

  • 采集candidates
  • 交互candidates
  • 生成candidate pairs
  • 连通性检测connective check
  • 提名candidate pair

YangPushData

  • YangPushData采用零拷贝技术,减少了大量memcpy操作
  • 降低连接占用内存效果显著,如IPC新增连接占用内存不超过20KB
  • 是YangPacer模块的数据基础

YangFile视频文件录制与读取

  • 纯C实现,不依赖任何第三方库
  • 支持H264/H265/OPUS/G711/AAC视频录制和读取
  • YangFile/YangPacer实现视频文件推流和webRTC点播

YangTls加密模块

  • YangTls实现了TCP Tls加密功能
  • 实现了HTTPS/MQTT/Socket加密传输

YangTwcc(Transport-wide Congestion Control)

  • Twcc是一种新的拥塞算法Sendside BWE的基础
  • Sendside BWE是webRTC多年实践证明优秀的择优选择的拥塞算法
  • YangTwcc模块可以取得丢包和时延等数据,是带宽估算的数据基础

YangBandWidth带宽估算

  • Sendside-BWE基于发送端估算
  • YangBandWidth模块取得rtt(round-trip time)
  • rtt和YangTwcc模块的丢包和时延等数据估算出网络拥塞状况数据

YangPacer模块

  • 参考YangBandWidth取得网络拥塞状况数据调整发送速率
  • YangPacer模块可以将推流视频数据均匀的发送出去
  • webRTC文件点播参考时间戳和网络状况均匀发送出去
  • 视频FEC(开发中)

YangCodec编码控制模块

  • 动态帧率调整
  • 动态码率调整
  • 动态分辨率调整
  • 大小流智能适配
  • 参考YangBandWidth取得网络拥塞状况数据采用上面策略

YangNetEQ模块

NetEQ模块降低网络抖动对音频传输的影响,确保平稳流畅的通话体验

  • YangJitter 降低网络抖动对音频传输的影响
  • YangPLC 丢包补偿技术
  • YangFec Opus自带FEC,G711 FEC(开发中)

YangAudioProcess模块

  • YangAec回声消除
  • YangAgc自适应增益控制
  • YangAns背景噪音抑制
  • YangVad语音动态侦测
  • YangCng舒适噪音生成
  • 纯C实现,不需要第三方库

YangAec回声消除

YangAec会监测扬声器和麦克风拾音器输入之间的回声,并使用算法来抵消回声信号,避免出现回声和延迟以提高语音对讲质量。

复制代码
YangAec *aec;
//aecLib 1:webrtc aec 0:speexdsp aec 2:内置AEC或其他AEC实现
yang_create_rtcaec(session->aec,aecLib);

aec->echoPlayback(aec->session,pcm); 
aec->echoCapture(aec->session, input, pcm);

YangAgc自适应增益控制

YangAgc可以自动检测音频信号强度和自动调整输入和输出音频信号的音量,防止音频音量忽大忽小,保证音频采集和播放的稳定性。

复制代码
YangAgc* agc;
agc->agcProcess(agc->session,pcm);

YangAns背景噪音抑制

YangAns可探测出背景固定频率的杂音并消除背景噪音,例如:风扇、空调声等杂音会自动滤除,使声音更清晰。

复制代码
YangAns* ans;
ans->preprocess_run(ans->session,pcm);

YangVad语音动态侦测

YangVad算法的作用是检测是否是人的语音,可作为其他音频处理的参考。

复制代码
YangVad* vad;
vad->voiceActivity(vad->session,pcm,frameSize,sampleRate);

YangCng舒适噪音生成

YangCng是一个在对讲过程中出现短暂静音时用来为对讲产生背景噪声的模块,常用在VAD检测没有人声时处理。

复制代码
YangCng* cng;
cng->voiceGenerate(cng->session,pcm,frameSize,sampleRate);
相关推荐
mo47763 小时前
Webrtc音频模块(四) 音频采集
音视频·webrtc
icy、泡芙3 小时前
T527-----音频调试
linux·驱动开发·音视频
易我数据恢复大师3 小时前
怎么提取音频保存到本地?电脑音频提取方法
音视频·软件·音频提取
野蛮的大西瓜3 小时前
开源呼叫中心中,如何将ASR与IVR菜单结合,实现动态的IVR交互
人工智能·机器人·自动化·音视频·信息与通信
嘟嘟实验室6 小时前
微信小程序xr-frame透明视频实现
微信小程序·ffmpeg·音视频·xr
红米饭配南瓜汤7 小时前
WebRTC服务质量(09)- Pacer机制(01) 流程概述
网络·音视频·webrtc
是十一月末10 小时前
Python进阶之opencv图片和视频基本读取关闭
python·opencv·音视频·cv2
gomogomono12 小时前
HDR视频技术之十一:HEVCH.265 的 HDR 编码方案
音视频·h.265·hdr·yuv
Eric.Lee202114 小时前
moviepy将图片序列制作成视频并加载字幕 - python 实现
开发语言·python·音视频·moviepy·字幕视频合成·图像制作为视频
却道天凉_好个秋14 小时前
音视频学习(二十四):hls协议
音视频·hls