Webrtc Fec分析(一)FEC的原理及处理流程

文章目录

fec的基本原理

fec全称Forward Error Correction,前向纠错,就是在发送端加入纠错编码,接收端可通过编码直接纠正传输中出现的错误,无需请求重传。

在webrtc中fec是对媒体数据(视频数据)进行冗余,生成冗余数据的方法是通过异或运算

对多个媒体包(两个或多个)的数据进行异或运算,产生一个数据包,它就是冗余包,随媒体包一起发送到接收端,如果参与异或的任一媒体包丢失,可以通过它与剩余的媒体包作异或运算而恢复丢失的媒体包。

真正生成冗余数据和恢复原始数据的核心算法是异或运算,当然可以使用其他的算法,比如Reed - Solomon 算法。

Data1与Data2做异或,产生数据包R,当Data1或Data2其中一个包丢失时,通过与包R做异或来恢复。

上图所示,横向来看,3个包分别做异或操作,得到冗余包R1,R2,R3。当丢失一个包时,可以通过冗余包与另外两个包恢复。

但是丢失两个包时,如图中第二项,就无法恢复了。可以通过多级冗余来解决该问题,就是一个媒体包不止做一次冗余,如下图,一个包在横竖两个方向做了冗余。

哪几个包组合生成冗余数据,取决于策略需求。比如可以三个包产生一个冗余包;也可以三个包产生两个冗余包,

前两个包生成一个冗余包,三个包一起生成一个冗余包,这种方式称做多级冗余。在webrtc中也会使用这种多级冗余。

fec的流程

一个通俗的例子

这里用做菜来打个比方,说明fec的核心流程。

假设中央厨房要做3道菜(原始包),送到各个食堂,同时也准备2道"混合菜"(FEC包)当备份:

菜品 原料组合配方
菜1 只含菜1 → [1, 0, 0]
菜2 只含菜2 → [0, 1, 0]
菜3 只含菜3 → [0, 0, 1]
混合菜A 菜1+菜2 → [1, 1, 0]
混合菜B 菜2+菜3 → [0, 1, 1]

发送端 (中央大厨房)

  1. 做菜:
    • 菜1、菜2、菜3
    • 混合菜A(菜1⊕菜2)
    • 混合菜B(菜2⊕菜3)
  2. 打包送出:[菜1, 菜2, 菜3, 混合菜A, 混合菜B][混合菜A,混合菜B的配方]

接收端(食堂)

  • 场景1:丢菜2,但有其他所有菜
    恢复:根据混合菜A的配方(混合菜A = 菜1⊕菜2)来恢复菜2,那么 菜2 = 混合菜A⊕菜1
  • 场景2:丢菜1和菜3,只有菜2+混合菜A,B
    恢复:根据混合菜A(混合菜A = 菜1⊕菜2),混合菜B(混合菜B = 菜2⊕菜3)的配方来恢复菜1和菜3
    1. 菜1 = 混合菜A⊕菜2
    2. 菜3 = 混合菜B⊕菜2

流程顺序

上面的例子说明了fec的核心流程:

  1. 确定fec包的个数,上面的例子是三个菜,产生了两个混合菜。
  2. 确定如何生成fec包(用异或还是其他算法),上面的例子选用了异或。
  3. 确定生成fec包的配方,哪几个包生成哪个fec包(混合菜)。
  4. 原始包,fec包及生成配方发送给对端。
  5. 接收方配方需来恢复原始包。

这也是webrtc中fec的核心流程。

相关推荐
Fisher3Star2 天前
mediasoup Transport详解与代码实现
webrtc
Fisher3Star2 天前
mediasoup中Node.js与Worker进程通信机制
网络·webrtc
911hzh3 天前
Flutter WebRTC iOS 原理解析:从 getUserMedia 到 Texture,讲清视频采集、纹理渲染与远端通话链路
flutter·ios·webrtc
shao9185163 天前
第12章Streaming(下):视频应用(1)——项目八:基于WebRTC+YOLO的实时目标检测
yolo·目标检测·webrtc·gradio·视频流·yolov10·流式传输
三十_4 天前
WebRTC 远端画面无法显示:ICE 与 SDP 时序问题深度解析与解决方案
webrtc
metaRTC6 天前
metaRTC8 成功适配 RTOS:开启 MCU/嵌入式实时音视频新时代
单片机·嵌入式硬件·webrtc·实时音视频·rtos
Fisher3Star6 天前
mediasoup中ip与announceAddress配置要点
webrtc·sdp
小柯博客7 天前
Amazon Kinesis Video Streams C WebRTC SDK 开发实战
c语言·开发语言·网络·stm32·嵌入式硬件·webrtc·yocto
RTC老炮8 天前
WebRTC下FlexFEC算法架构及原理
网络·算法·音视频·webrtc
换个昵称都难9 天前
webrtc源码下载(2026年4月)
webrtc