【音视频】remb && twcc原理

目录

twcc简介

[WebRTC REMB](#WebRTC REMB)

参考文档


twcc简介

TWCC全称是Transport wide Congestion Control,是webrtc的最新的拥塞控制算法。其原理是在接收端 保存数据包状态,然后构造RTCP包反馈给发送端,反馈信息包括包到达时间、丢包状态等;在发送端进行带宽估计,进行拥塞控制。

发送方带宽估计有什么好处?谷歌解释的理论是,通过这种方式,所有的决策逻辑都在一个地方(发送方),因此可以轻松测试新算法,因为你不依赖两个端点。老实说,考虑到浏览器自动更新,我不认为这一点有什么大的优势,但它肯定更干净,即使它在带宽使用方面更昂贵。另一个优点是,发送者知道他正在发送的流量类型,并且可以在发送普通视频时使用不同的算法,例如在进行屏幕广播时。我们受到影响了吗?如果您正在构建的媒体服务器需要对任何内容进行带宽估计(例如,在使用simulcast时决定转发的质量),您将需要在某个时候升级您的实现。好消息是Chrome必须支持旧机制(REMB)一段时间,至少在Firefox支持之前是这样。但是REMB可能不会得到更多的改进,而且它现在更有可能出现bug,所以推迟更改可能不是一个好主意。Chrome 55的默认设置是发送端带宽估计,但这项工作仍在进行中,我们预计会有很多变化。官方标准化正在RMCAT集团的IETF中进行,但Chrome中可用的大部分实现都是谷歌自己版本的算法和反馈协议的进行中规范。(古斯塔沃·加西亚)

WebRTC REMB

WebRTC REMB(Receiver Estimated Maximum Bitrate)是一种带宽估计算法,用于在WebRTC中动态地调整视频发送端的码率,以适应网络带宽的变化。

在实时通信中,网络带宽的变化经常会影响视频的质量和流畅度。为了解决这个问题,WebRTC提供了一种带宽估计算法,即REMB。该算法基于接收端 对视频数据的缓存情况和网络状况等信息,动态地估计可用的带宽,并向发送端发送 估计值。发送端可以根据该估计值适当地调整视频的码率和分辨率,以达到最佳的视听体验。

具体来说,REMB算法的基本原理如下:

接收端监测缓存:接收端会定期监测自己的视频缓存情况,包括缓存的大小、缓存时间等指标。

发送端发送带宽估计值:当缓存情况较好时,接收端会向发送端发送一个带宽估计值,告诉发送端当前的可用带宽。

发送端根据估计值调整码率和分辨率:发送端会根据接收端发来的带宽估计值,适当地调整视频的码率和分辨率,以适应当前的网络带宽。

重复上述过程:整个过程会不断地重复执行,以实现动态的带宽估计和调整。

WebRTC REMB是一种常用的带宽估计算法,可以帮助实时通信系统在不同网络条件下保持最佳的视听体验。它基于接收端对视频缓存情况和网络状况的监测,动态地估计可用的带宽,并向发送端发送估计值,使得发送端可以根据估计值适当地调整视频的码率和分辨率

参考文档

WebRTC带宽估计_webrtc 带宽估计-CSDN博客

webrtc twcc接收端处理在Nginx RTC SFU 服务端的实现_webrtc_龙--技术总结分享-即构开发者社区 (csdn.net)

相关推荐
REDcker5 天前
WebCodecs VideoDecoder 的 hardwareAcceleration 使用
前端·音视频·实时音视频·直播·webcodecs·videodecoder
gihigo19985 天前
基于TCP协议实现视频采集与通信
网络协议·tcp/ip·音视频
山河君5 天前
四麦克风声源定位实战:基于 GCC-PHAT + 最小二乘法实现 DOA
算法·音视频·语音识别·信号处理·最小二乘法·tdoa
音视频牛哥5 天前
Android平台RTMP/RTSP超低延迟直播播放器开发详解——基于SmartMediaKit深度实践
android·人工智能·计算机视觉·音视频·rtmp播放器·安卓rtmp播放器·rtmp直播播放器
qq_416276425 天前
通用音频表征的对比学习
学习·音视频
美狐美颜sdk5 天前
Android全局美颜sdk实现方案详解
人工智能·音视频·美颜sdk·视频美颜sdk·美狐美颜sdk
EasyDSS5 天前
私有化部署EasyDSS视频点播能力:全链路视频技术赋能,打造企业级视听新体验
音视频·hls·m3u8·点播技术·智能转码
qq_416276425 天前
DeLoRes——一种通用的音频表征学习新方法(DeLoRes(基于 Barlow Twins 的冗余最小化方法)
学习·音视频
Q_4582838685 天前
从定位到视频:808 + 1078 在各行业的落地实践
音视频
山顶望月川5 天前
实测MiniMax-Hailuo-02:当“开工大吉“变成“无字天书“,国产AI视频模型的能与之不能
人工智能·音视频