Webrtc Fec分析(一)FEC的原理及处理流程

文章目录

fec的基本原理

fec全称Forward Error Correction,前向纠错,就是在发送端加入纠错编码,接收端可通过编码直接纠正传输中出现的错误,无需请求重传。

在webrtc中fec是对媒体数据(视频数据)进行冗余,生成冗余数据的方法是通过异或运算

对多个媒体包(两个或多个)的数据进行异或运算,产生一个数据包,它就是冗余包,随媒体包一起发送到接收端,如果参与异或的任一媒体包丢失,可以通过它与剩余的媒体包作异或运算而恢复丢失的媒体包。

真正生成冗余数据和恢复原始数据的核心算法是异或运算,当然可以使用其他的算法,比如Reed - Solomon 算法。

Data1与Data2做异或,产生数据包R,当Data1或Data2其中一个包丢失时,通过与包R做异或来恢复。

上图所示,横向来看,3个包分别做异或操作,得到冗余包R1,R2,R3。当丢失一个包时,可以通过冗余包与另外两个包恢复。

但是丢失两个包时,如图中第二项,就无法恢复了。可以通过多级冗余来解决该问题,就是一个媒体包不止做一次冗余,如下图,一个包在横竖两个方向做了冗余。

哪几个包组合生成冗余数据,取决于策略需求。比如可以三个包产生一个冗余包;也可以三个包产生两个冗余包,

前两个包生成一个冗余包,三个包一起生成一个冗余包,这种方式称做多级冗余。在webrtc中也会使用这种多级冗余。

fec的流程

一个通俗的例子

这里用做菜来打个比方,说明fec的核心流程。

假设中央厨房要做3道菜(原始包),送到各个食堂,同时也准备2道"混合菜"(FEC包)当备份:

菜品 原料组合配方
菜1 只含菜1 → [1, 0, 0]
菜2 只含菜2 → [0, 1, 0]
菜3 只含菜3 → [0, 0, 1]
混合菜A 菜1+菜2 → [1, 1, 0]
混合菜B 菜2+菜3 → [0, 1, 1]

发送端 (中央大厨房)

  1. 做菜:
    • 菜1、菜2、菜3
    • 混合菜A(菜1⊕菜2)
    • 混合菜B(菜2⊕菜3)
  2. 打包送出:[菜1, 菜2, 菜3, 混合菜A, 混合菜B][混合菜A,混合菜B的配方]

接收端(食堂)

  • 场景1:丢菜2,但有其他所有菜
    恢复:根据混合菜A的配方(混合菜A = 菜1⊕菜2)来恢复菜2,那么 菜2 = 混合菜A⊕菜1
  • 场景2:丢菜1和菜3,只有菜2+混合菜A,B
    恢复:根据混合菜A(混合菜A = 菜1⊕菜2),混合菜B(混合菜B = 菜2⊕菜3)的配方来恢复菜1和菜3
    1. 菜1 = 混合菜A⊕菜2
    2. 菜3 = 混合菜B⊕菜2

流程顺序

上面的例子说明了fec的核心流程:

  1. 确定fec包的个数,上面的例子是三个菜,产生了两个混合菜。
  2. 确定如何生成fec包(用异或还是其他算法),上面的例子选用了异或。
  3. 确定生成fec包的配方,哪几个包生成哪个fec包(混合菜)。
  4. 原始包,fec包及生成配方发送给对端。
  5. 接收方配方需来恢复原始包。

这也是webrtc中fec的核心流程。

相关推荐
不吃鱼的猫7487 小时前
【音视频流媒体进阶:从网络到 WebRTC】第04篇-流媒体场景下的网络优化
网络·音视频·webrtc
不吃鱼的猫7488 小时前
【音视频流媒体进阶:从网络到 WebRTC】第02篇-I/O 多路复用:从 select 到 epoll
网络·音视频·webrtc
不吃鱼的猫7489 小时前
【音视频流媒体进阶:从网络到 WebRTC】第03篇-Reactor 模式与事件驱动网络框架
网络·音视频·webrtc
不吃鱼的猫7489 小时前
【音视频流媒体进阶:从网络到 WebRTC】第01篇-Socket 编程基础:TCP 与 UDP 的选择
网络·音视频·webrtc
不吃鱼的猫7481 天前
Janus WebRTC Gateway -- 从零搭建完整指南
gateway·webrtc
RTC老炮2 天前
WebRTC PCC (Performance-oriented Congestion Control) 算法精解
网络·算法·webrtc
任小栗3 天前
【实战干货】Vue3 + WebRTC + SIP + AI 实现全自动语音接警系统(远程流获取+实时ASR+TTS回播)
人工智能·webrtc
runner365.git4 天前
如何使用RTCPilot--跨平台WebRTC开源服务
webrtc·音视频开发
runner365.git4 天前
RTC实现VoiceAgent(二)
大模型·webrtc·实时音视频·voiceagent