文章目录
-
-
- 项目架构和模块划分
- 视频会议核心流程:
- [项目方案选型,比如信令为什么用websocket,WHEP WHIP又是属于什么](#项目方案选型,比如信令为什么用websocket,WHEP WHIP又是属于什么)
- 性能怎么样,怎么做的性能测试,同时支持多少人在线
- I帧间隔大致是多少,新人进来怎么快速看到画面
- 丢包了怎么处理
-
项目架构和模块划分
一个基于 WHIP/WHEP 的 WebRTC 多人会议系统,采用 "信令与媒体分离、媒体走 SFU 转发" 的架构:信令服务器管业务状态,媒体服务器只管 SDP/ICE 协商和音视频转发,Web 与 Qt 两个客户端复用同一套媒体协议。
完成的webrtc会议包含web客户端、Qt客户端、信令服务器、媒体服务器;
web客户端:浏览器会议参与、音视频采集播放
Qt客户端:桌面会议参与、硬件编解码支持
信令服务器:WebSocket: 房间管理、用户状态、聊天信息
媒体服务器: WHIP/WHEP推拉流,ICE 协商、房间内 SFU 选择性转发
QT客户端模块划分为:UI界面层、协议层(WHIP推流、WHEP拉流) RTC传输层(rtcPublisher推流、rtcSubscriber拉流,libdatachannel 核心库),采集编层(音视频采集、ffmpeg编解码)、基础层(系统日志、url解析器、时间工具)
媒体服务器模块划分:
- 装配层 main.cpp:参数解析、模块创建、回调连接、路由注册
- 传输层 http_server:cpp-httplib 封装,只做 HTTP 与结构体转换
- 会话/信令层 whip_session / whep_session / room_manager:会话状态、ETag 并发控制、Trickle ICE 候选缓存、房间成员集合
- 媒体层 rtc_manager:libdatachannel 的 PeerConnection、SDP 协商、Track 转发、动态补轨、PLI/NACK/SR
视频会议核心流程:
- WebSocket 登录,再进房,拿到 media server 地址
- 采集,创建 PC,addTrack,createOffer,再
POST /whip/{room}/{peer} - 服务端建 PC 回 Answer,双方
PATCHTrickle ICE - 推流端 WS 发
stream_published,信令广播给房间内其他人 - 观众各自
POST /whep/{room}/{peer},服务端绑定房间内轨道并动态补轨 - 首帧超时发 PLI,服务端转发给发布者请求关键帧
- 结束
DELETE资源,再 WSstream_stopped
项目方案选型,比如信令为什么用websocket,WHEP WHIP又是属于什么
IETF RFC 9725 标准的 HTTP 媒体信令协议,不是传输协议 :
- WHIP = 推流/发布,客户端 POST Offer,服务端回 Answer
- WHEP = 拉流/订阅,语义完全对称
- 媒体仍是 SRTP over UDP,WHIP/WHEP 只负责把 SDP + ICE 交换表达为 REST 资源操作
为什么用它而不是自定义 WebSocket 信令:
- 生命周期天然匹配 REST 语义 :
POST 创建 / PATCH 更新 ICE / DELETE 销毁,Location + ETag自带幂等与并发控制 - 无状态可水平扩展 :直接放负载均衡、CDN、API 网关后,鉴权限流复用 HTTP 体系
- 标准化互操作 :OBS、FFmpeg、各类媒体网关原生支持
- 浏览器零额外封装 :
RTCPeerConnection产出的 SDP 文本直接 POST 即可
性能怎么样,怎么做的性能测试,同时支持多少人在线
- 基于 WHIP/WHEP 的 SFU 媒体服务器,在 4 核 8G 千兆 Ubuntu 下稳定承载的核心上限是 3 推 30 拉 (即 3 个人开摄像头推流、30 个人观看这 3 路视频),或 10 人全视频会议 (每人推一路拉 9 路,总转发量也是 90 路)
- 推流端 CPU 占用约 2% 单核/路、拉流端约 3% 单核/路,单路视频带宽 2Mbps,转端到端延迟 < 200ms,WHIP/WHEP 协商 < 50ms,ICE 连接成功率 > 98%。
- 性能测试用 ffmpeg 生成假流批量推/拉,配合 htop、iftop、ss 监控 CPU/带宽/端口,
curl /rooms读 track_stats 里的 out_tracks 和 last_in_ms 判断转发质量。
I帧间隔大致是多少,新人进来怎么快速看到画面
这个项目的 I 帧间隔没由推流端编码器默认决定(浏览器 2~4 秒、Qt ffmpeg 需手动设-g );新人进房后快速看到画面靠三层机制协同:浏览器自动发 PLI 请求关键帧,SFU 的 PliHandler 把 PLI 转发给推流端,SFU 在 ICE 连通后再主动兜底一次,形成闭环。
首帧 I 帧请求三层链路
- 第 1 层(自动)--- 浏览器
ICE 连接成功后,若第一个收到的不是 I 帧,浏览器自动发送 RTCP PLI。此为 WebRTC 标准规定,项目无需写代码。 - 第 2 层(关键路径)--- SFU 媒体服务器
PliHandler 拦截 PLI,调用推流端 incoming track 的 requestKeyframe(),真正向推流端发出 RTCP PLI。该请求必须走 SRTCP 控制通道,代码中用 PliControlSender 保证走 Message::Control 而非 Message::Binary,否则浏览器会忽略。 - 第 3 层(兜底)--- SFU 媒体服务器
WHEP 订阅端 ICE 状态变为 Connected 时,主动调用 try_request_keyframe();Answer 生成后若 ICE 已连通,再补调一次,防止 PLI 转发链尚未建好。
丢包了怎么处理
SFU 只做"无状态重打包转发"(depacketize → re-packetize,改 SSRC 不转码),把纠错责任尽量推回两端 ------下游短丢包用 NACK 环形缓存(512 包)补,补不回来就用 PLI 走 SRTCP 控制通道向上要 I 帧(200ms 合并节流防雪崩
| # | 手段 | 类型 | 做了什么 | 代码位置 |
|---|---|---|---|---|
| 1 | PLI(Picture Loss Indication) | 被动·视频重出关键帧 | 丢包严重导致解码器卡顿时,请求推流端立刻输出 I 帧,丢弃中间丢失的 P 帧 | PliHandler L755-L777 / L1137-L1157、PliControlSender L153-L173 |
| 2 | NACK Responder | 主动·RTP 重传 | SFU 收到订阅端 NACK("我丢了包 #3"),尝试重发 | RtcpNackResponder L752-L753 / L1137-L1143 |
| 3 | SR(Sender Report) | 被动·统计反馈 | SFU 作为 sender 定期发 Sender Report,让订阅端计算 RTT、丢包率、抖动 | RtcpSrReporter L749-L750 |
| 4 | 移除 Transport-CC | 反直觉·防止误杀 | 浏览器默认用 Transport-CC 做带宽估计,但 SFU 场景下浏览器误判拥塞,主动降码率导致画面模糊 | RemoveTransportCcFromSdp L333-L377、ApplyFixesToSdpInAnswer L812 / L991 |
| 5 | 200ms PLI 节流 | 被动·防过载 | 多个订阅者同时丢包时,不把推流端编码器打崩 | L759-L761 / L1141-L1143 |
发布端浏览器 SFU 媒体服务器 订阅端浏览器
│ │ │
│── RTP #1 ─────────►│── 重打包 + 新 SSRC ──────────►│
│── RTP #2 ─────────►│── 重打包 ───────────────────►│
│ │ ❌ 丢了 #3
│── RTP #4 ─────────►│── 重打包 ───────────────────►│ 解码卡住!
│ │ │
│ │◄──── RTCP NACK: "我丢了#3" ───│
│ │ (SFU 没缓存,重传失败 😅) │
│ │ │
│ │◄──── RTCP PLI: "出关键帧" ────│(解码器卡太久)
│◄── requestKeyframe()│ │
│ │ │
│── 新 I 帧 ─────────►│── 重打包 ───────────────────►│ ← 画面恢复 ✅
这个项目丢包处理的主策略是 "NACK 补小包(但因 SFU 无缓存基本不生效)、PLI 出关键帧兜底、移除 Transport-CC 防止浏览器误杀码率";PLI 走 SRTCP 控制通道、加了 200ms 节流防雪崩。