音视频会议梳理

文章目录

项目架构和模块划分

一个基于 WHIP/WHEP 的 WebRTC 多人会议系统,采用 "信令与媒体分离、媒体走 SFU 转发" 的架构:信令服务器管业务状态,媒体服务器只管 SDP/ICE 协商和音视频转发,Web 与 Qt 两个客户端复用同一套媒体协议。

完成的webrtc会议包含web客户端、Qt客户端、信令服务器、媒体服务器;

web客户端:浏览器会议参与、音视频采集播放

Qt客户端:桌面会议参与、硬件编解码支持

信令服务器:WebSocket: 房间管理、用户状态、聊天信息

媒体服务器: WHIP/WHEP推拉流,ICE 协商、房间内 SFU 选择性转发

QT客户端模块划分为:UI界面层、协议层(WHIP推流、WHEP拉流) RTC传输层(rtcPublisher推流、rtcSubscriber拉流,libdatachannel 核心库),采集编层(音视频采集、ffmpeg编解码)、基础层(系统日志、url解析器、时间工具)

媒体服务器模块划分:

  • 装配层 main.cpp:参数解析、模块创建、回调连接、路由注册
  • 传输层 http_server:cpp-httplib 封装,只做 HTTP 与结构体转换
  • 会话/信令层 whip_session / whep_session / room_manager:会话状态、ETag 并发控制、Trickle ICE 候选缓存、房间成员集合
  • 媒体层 rtc_manager:libdatachannel 的 PeerConnection、SDP 协商、Track 转发、动态补轨、PLI/NACK/SR

视频会议核心流程:

  • WebSocket 登录,再进房,拿到 media server 地址
  • 采集,创建 PC,addTrack,createOffer,再POST /whip/{room}/{peer}
  • 服务端建 PC 回 Answer,双方PATCH Trickle ICE
  • 推流端 WS 发stream_published ,信令广播给房间内其他人
  • 观众各自POST /whep/{room}/{peer} ,服务端绑定房间内轨道并动态补轨
  • 首帧超时发 PLI,服务端转发给发布者请求关键帧
  • 结束DELETE 资源,再 WSstream_stopped

项目方案选型,比如信令为什么用websocket,WHEP WHIP又是属于什么

IETF RFC 9725 标准的 HTTP 媒体信令协议,不是传输协议 :

  • WHIP = 推流/发布,客户端 POST Offer,服务端回 Answer
  • WHEP = 拉流/订阅,语义完全对称
  • 媒体仍是 SRTP over UDP,WHIP/WHEP 只负责把 SDP + ICE 交换表达为 REST 资源操作

为什么用它而不是自定义 WebSocket 信令:

  1. 生命周期天然匹配 REST 语义 :POST 创建 / PATCH 更新 ICE / DELETE 销毁 ,Location + ETag 自带幂等与并发控制
  2. 无状态可水平扩展 :直接放负载均衡、CDN、API 网关后,鉴权限流复用 HTTP 体系
  3. 标准化互操作 :OBS、FFmpeg、各类媒体网关原生支持
  4. 浏览器零额外封装 :RTCPeerConnection 产出的 SDP 文本直接 POST 即可

性能怎么样,怎么做的性能测试,同时支持多少人在线

  • 基于 WHIP/WHEP 的 SFU 媒体服务器,在 4 核 8G 千兆 Ubuntu 下稳定承载的核心上限是 3 推 30 拉 (即 3 个人开摄像头推流、30 个人观看这 3 路视频),或 10 人全视频会议 (每人推一路拉 9 路,总转发量也是 90 路)
  • 推流端 CPU 占用约 2% 单核/路、拉流端约 3% 单核/路,单路视频带宽 2Mbps,转端到端延迟 < 200ms,WHIP/WHEP 协商 < 50ms,ICE 连接成功率 > 98%。
  • 性能测试用 ffmpeg 生成假流批量推/拉,配合 htop、iftop、ss 监控 CPU/带宽/端口,curl /rooms 读 track_stats 里的 out_tracks 和 last_in_ms 判断转发质量。

I帧间隔大致是多少,新人进来怎么快速看到画面

这个项目的 I 帧间隔没由推流端编码器默认决定(浏览器 2~4 秒、Qt ffmpeg 需手动设-g );新人进房后快速看到画面靠三层机制协同:浏览器自动发 PLI 请求关键帧,SFU 的 PliHandler 把 PLI 转发给推流端,SFU 在 ICE 连通后再主动兜底一次,形成闭环。

首帧 I 帧请求三层链路

  1. 第 1 层(自动)--- 浏览器
    ICE 连接成功后,若第一个收到的不是 I 帧,浏览器自动发送 RTCP PLI。此为 WebRTC 标准规定,项目无需写代码。
  2. 第 2 层(关键路径)--- SFU 媒体服务器
    PliHandler 拦截 PLI,调用推流端 incoming track 的 requestKeyframe(),真正向推流端发出 RTCP PLI。该请求必须走 SRTCP 控制通道,代码中用 PliControlSender 保证走 Message::Control 而非 Message::Binary,否则浏览器会忽略。
  3. 第 3 层(兜底)--- SFU 媒体服务器
    WHEP 订阅端 ICE 状态变为 Connected 时,主动调用 try_request_keyframe();Answer 生成后若 ICE 已连通,再补调一次,防止 PLI 转发链尚未建好。

丢包了怎么处理

SFU 只做"无状态重打包转发"(depacketize → re-packetize,改 SSRC 不转码),把纠错责任尽量推回两端 ------下游短丢包用 NACK 环形缓存(512 包)补,补不回来就用 PLI 走 SRTCP 控制通道向上要 I 帧(200ms 合并节流防雪崩

# 手段 类型 做了什么 代码位置
1 PLI(Picture Loss Indication) 被动·视频重出关键帧 丢包严重导致解码器卡顿时,请求推流端立刻输出 I 帧,丢弃中间丢失的 P 帧 PliHandler L755-L777 / L1137-L1157、PliControlSender L153-L173
2 NACK Responder 主动·RTP 重传 SFU 收到订阅端 NACK("我丢了包 #3"),尝试重发 RtcpNackResponder L752-L753 / L1137-L1143
3 SR(Sender Report) 被动·统计反馈 SFU 作为 sender 定期发 Sender Report,让订阅端计算 RTT、丢包率、抖动 RtcpSrReporter L749-L750
4 移除 Transport-CC 反直觉·防止误杀 浏览器默认用 Transport-CC 做带宽估计,但 SFU 场景下浏览器误判拥塞,主动降码率导致画面模糊 RemoveTransportCcFromSdp L333-L377、ApplyFixesToSdpInAnswer L812 / L991
5 200ms PLI 节流 被动·防过载 多个订阅者同时丢包时,不把推流端编码器打崩 L759-L761 / L1141-L1143
复制代码
发布端浏览器          SFU 媒体服务器                     订阅端浏览器
     │                     │                                │
     │── RTP #1 ─────────►│── 重打包 + 新 SSRC ──────────►│
     │── RTP #2 ─────────►│── 重打包 ───────────────────►│
     │                     │                   ❌ 丢了 #3
     │── RTP #4 ─────────►│── 重打包 ───────────────────►│ 解码卡住!
     │                     │                                │
     │                     │◄──── RTCP NACK: "我丢了#3" ───│
     │                     │  (SFU 没缓存,重传失败 😅)     │
     │                     │                                │
     │                     │◄──── RTCP PLI: "出关键帧" ────│(解码器卡太久)
     │◄── requestKeyframe()│                                │
     │                     │                                │
     │── 新 I 帧 ─────────►│── 重打包 ───────────────────►│ ← 画面恢复 ✅

这个项目丢包处理的主策略是 "NACK 补小包(但因 SFU 无缓存基本不生效)、PLI 出关键帧兜底、移除 Transport-CC 防止浏览器误杀码率";PLI 走 SRTCP 控制通道、加了 200ms 节流防雪崩。

相关推荐
合尘猫1 天前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
the3clipse3 天前
Windows 11 26H2 声音与音频问题排查指南:没声音、麦克风不收音与蓝牙音频优化
音视频·le audio·windows 11 26h2·win11没声音·麦克风没声音·蓝牙耳机音质·音频服务修复
开开心心就好3 天前
PDF水印怎么去掉?勾选对象再点匹配
java·前端·mysql·支持向量机·pdf·音视频·模拟退火算法
RobinDevNotes4 天前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
伯奥克客服4 天前
2026年视频综合一体机架构选型:从接口协议到流媒体底层的深度技术解析
架构·音视频
开开心心就好4 天前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
FansAI_art4 天前
多角色 AIGC 短片的双模型分工:静态生图与图生视频怎么接
aigc·音视频
山顶夕景5 天前
【ECCV2026】流式视频理解Thinking in Streaming Video
音视频·vlm·视频理解·多模态理解·流式视频
zhanlang02176 天前
HTML 零基础入门到企业实战【第五章 5.4】内嵌网页 iframe 标签:嵌入网页、视频、地图实战
前端·html·音视频