Webrtc Fec分析(一)FEC的原理及处理流程

文章目录

fec的基本原理

fec全称Forward Error Correction,前向纠错,就是在发送端加入纠错编码,接收端可通过编码直接纠正传输中出现的错误,无需请求重传。

在webrtc中fec是对媒体数据(视频数据)进行冗余,生成冗余数据的方法是通过异或运算。

对多个媒体包(两个或多个)的数据进行异或运算,产生一个数据包,它就是冗余包,随媒体包一起发送到接收端,如果参与异或的任一媒体包丢失,可以通过它与剩余的媒体包作异或运算而恢复丢失的媒体包。

真正生成冗余数据和恢复原始数据的核心算法是异或运算,当然可以使用其他的算法,比如Reed - Solomon 算法。

Data1与Data2做异或,产生数据包R,当Data1或Data2其中一个包丢失时,通过与包R做异或来恢复。

上图所示,横向来看,3个包分别做异或操作,得到冗余包R1,R2,R3。当丢失一个包时,可以通过冗余包与另外两个包恢复。

但是丢失两个包时,如图中第二项,就无法恢复了。可以通过多级冗余来解决该问题,就是一个媒体包不止做一次冗余,如下图,一个包在横竖两个方向做了冗余。

哪几个包组合生成冗余数据,取决于策略需求。比如可以三个包产生一个冗余包;也可以三个包产生两个冗余包,

前两个包生成一个冗余包,三个包一起生成一个冗余包,这种方式称做多级冗余。在webrtc中也会使用这种多级冗余。

fec的流程

一个通俗的例子

这里用做菜来打个比方,说明fec的核心流程。

假设中央厨房要做3道菜(原始包),送到各个食堂,同时也准备2道"混合菜"(FEC包)当备份:

菜品 原料组合配方
菜1 只含菜1 → [1, 0, 0]
菜2 只含菜2 → [0, 1, 0]
菜3 只含菜3 → [0, 0, 1]
混合菜A 菜1+菜2 → [1, 1, 0]
混合菜B 菜2+菜3 → [0, 1, 1]

发送端 (中央大厨房)

  1. 做菜:
    • 菜1、菜2、菜3
    • 混合菜A(菜1⊕菜2)
    • 混合菜B(菜2⊕菜3)
  2. 打包送出:[菜1, 菜2, 菜3, 混合菜A, 混合菜B]和[混合菜A,混合菜B的配方]

接收端(食堂)

  • 场景1:丢菜2,但有其他所有菜
    恢复:根据混合菜A的配方(混合菜A = 菜1⊕菜2)来恢复菜2,那么 菜2 = 混合菜A⊕菜1
  • 场景2:丢菜1和菜3,只有菜2+混合菜A,B
    恢复:根据混合菜A(混合菜A = 菜1⊕菜2),混合菜B(混合菜B = 菜2⊕菜3)的配方来恢复菜1和菜3
    1. 菜1 = 混合菜A⊕菜2
    2. 菜3 = 混合菜B⊕菜2

流程顺序

上面的例子说明了fec的核心流程:

  1. 确定fec包的个数,上面的例子是三个菜,产生了两个混合菜。
  2. 确定如何生成fec包(用异或还是其他算法),上面的例子选用了异或。
  3. 确定生成fec包的配方,哪几个包生成哪个fec包(混合菜)。
  4. 原始包,fec包及生成配方发送给对端。
  5. 接收方配方需来恢复原始包。

这也是webrtc中fec的核心流程。

相关推荐
福大大架构师每日一题2 天前
RustDesk 1.5.0发布:WebRTC、HDR 色调映射、剪贴板同步与百余项修复全面汇总
webrtc
福大大架构师每日一题7 天前
webrtc-rs/webrtc v0.21.0发布:API 可扩展、异步集成、确定性时间、ICE 重启与 SCTP 全面修复
webrtc
智联视频超融合平台7 天前
WebRTC + AI:实时音视频中嵌入神经网络推理的架构设计
人工智能·webrtc·实时音视频
P1Browser8 天前
换了 IP 还是被关联:WebRTC 泄露本地 IP 的三种触发路径
网络协议·tcp/ip·webrtc
福大大架构师每日一题9 天前
pion/webrtc v4.2.22 最新发布:TCP mux 写缓冲区调整至 4 MB,补齐缺失媒体方向处理
tcp/ip·webrtc·媒体
程序员老陆18 天前
WHIP 与 WHEP:WebRTC 直播的标准化入口与出口
ffmpeg·音视频·webrtc·whip·whep
平行云1 个月前
国产GPU云渲染适配实战:驱动兼容、编码调优与多路并发
unity·ue5·webrtc·webgl·实时云渲染·云桌面·像素流送
隐擎fox1 个月前
网络传输安全剖析:WebRTC 本地真实 IP 泄漏机制(STUN/TURN)与 Python 防护检测实战
网络·网络协议·tcp/ip·安全·webrtc
福大大架构师每日一题1 个月前
mediamtx v1.21.0 发布:Media-over-QUIC、RTSP、HLS、WebRTC 与安全能力全面升级
安全·webrtc
脏脏a1 个月前
Neko 自托管实战:WebRTC 远程浏览器、多用户权限与公网访问
webrtc