H.264 拉流为什么花屏又卡顿

0. 引言

在使用Nginx-rtc-example做测试时,又出现花屏和绿块的现象。在与 H.264 流交互时,画面经常会出现花屏、绿块、撕裂,或者画面能看但忽快忽慢、一卡一卡。很多人把这两件事混成一个"网络不好",于是加带宽、加缓冲,问题照旧。

结论先给:花屏是参考链断了,抖动是发送节拍不稳。两者的排查路径完全不同。

GitHub: nginx-rtc-module

1. 先分清两个症状

现象 直接原因 处理方向
花屏、绿块、撕裂 参考帧缺失、一帧数据不完整、参数集缺失 整帧丢弃,等下一个关键帧
卡顿、忽快忽慢 发送节拍不稳、多路之间调度不均、发送队列积压 稳定步进、公平轮转、限制突发

花屏是"数据不对",抖动是"时间不对"。用同一个办法治,往往一边好了另一边更糟。

2. H.264 的压缩率从哪来

理解丢帧规则之前,先要知道一帧数据是怎么被压小的。H.264 的压缩分四步:

  1. 帧内预测。同一帧里相邻像素高度相关,编码器不直接编像素,而是用左边或上边的已解码像素按方向预测,只编预测值与真实值的差。平坦区域残差接近零,几乎不占码率。
  2. 帧间预测与运动补偿。相邻帧内容基本重复,编码器为每个宏块在参考帧里搜索最相似的块,只传运动矢量和残差。背景不动时运动矢量全为零,压缩比可以做到几十倍,这是 H.264 远优于逐帧压缩格式的根本原因。
  3. 变换与量化。残差做整数 DCT,能量集中到低频;量化后大量高频系数直接变成零。量化是唯一有损的环节,也是码率旋钮:量化越狠,码率越低,细节越糊。
  4. 熵编码。对系数、运动矢量、头信息再做统计编码,去掉符号层面的冗余。

3. I、P、B 三种帧

类型 参考关系 特点
I 帧 不参考任何帧 可独立解码,体积最大,随机接入点
P 帧 参考前面的帧 只编残差和运动矢量
B 帧 参考前后帧 压缩率最高,但必须先拿到未来帧,增加延迟

两个容易被忽略的点:

  • I 帧不等于 IDR。IDR 会清空参考帧列表,是封闭 GOP 的起点;普通 I 帧之后的 P 帧仍可能参考 GOP 之外的帧。丢包恢复必须等 IDR,只等 I 帧不够。
  • B 帧让解码顺序与显示顺序不同,需要 DTS/PTS 分离和额外缓存。直播和低延迟场景通常关闭 B 帧,按 IPPP 组织,RTP 时间戳可以直接对应显示顺序。

4. AU:一帧的完整数据

AU(Access Unit)是编码层的"一帧",包含这一时刻的所有 NAL:参数集、SEI、一个或多个切片。它对应播放器的一次显示、一个 RTP 时间戳,最后一包用 marker 位收尾。
#mermaid-svg-JrKfWVJSa8rwQD8H{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-JrKfWVJSa8rwQD8H .error-icon{fill:hsl(220.5882352941, 100%, 98.3333333333%);}#mermaid-svg-JrKfWVJSa8rwQD8H .error-text{fill:rgb(8.5000000002, 5.7500000001, 0);stroke:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-JrKfWVJSa8rwQD8H .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-JrKfWVJSa8rwQD8H .marker{fill:#0b0b0b;stroke:#0b0b0b;}#mermaid-svg-JrKfWVJSa8rwQD8H .marker.cross{stroke:#0b0b0b;}#mermaid-svg-JrKfWVJSa8rwQD8H svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-JrKfWVJSa8rwQD8H p{margin:0;}#mermaid-svg-JrKfWVJSa8rwQD8H .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-JrKfWVJSa8rwQD8H .cluster-label text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-JrKfWVJSa8rwQD8H .cluster-label span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-JrKfWVJSa8rwQD8H .cluster-label span p{background-color:transparent;}#mermaid-svg-JrKfWVJSa8rwQD8H .label text,#mermaid-svg-JrKfWVJSa8rwQD8H span{fill:#333;color:#333;}#mermaid-svg-JrKfWVJSa8rwQD8H .node rect,#mermaid-svg-JrKfWVJSa8rwQD8H .node circle,#mermaid-svg-JrKfWVJSa8rwQD8H .node ellipse,#mermaid-svg-JrKfWVJSa8rwQD8H .node polygon,#mermaid-svg-JrKfWVJSa8rwQD8H .node path{fill:#fff4dd;stroke:hsl(40.5882352941, 60%, 83.3333333333%);stroke-width:1px;}#mermaid-svg-JrKfWVJSa8rwQD8H .rough-node .label text,#mermaid-svg-JrKfWVJSa8rwQD8H .node .label text,#mermaid-svg-JrKfWVJSa8rwQD8H .image-shape .label,#mermaid-svg-JrKfWVJSa8rwQD8H .icon-shape .label{text-anchor:middle;}#mermaid-svg-JrKfWVJSa8rwQD8H .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-JrKfWVJSa8rwQD8H .rough-node .label,#mermaid-svg-JrKfWVJSa8rwQD8H .node .label,#mermaid-svg-JrKfWVJSa8rwQD8H .image-shape .label,#mermaid-svg-JrKfWVJSa8rwQD8H .icon-shape .label{text-align:center;}#mermaid-svg-JrKfWVJSa8rwQD8H .node.clickable{cursor:pointer;}#mermaid-svg-JrKfWVJSa8rwQD8H .root .anchor path{fill:#0b0b0b!important;stroke-width:0;stroke:#0b0b0b;}#mermaid-svg-JrKfWVJSa8rwQD8H .arrowheadPath{fill:#0b0b0b;}#mermaid-svg-JrKfWVJSa8rwQD8H .edgePath .path{stroke:#0b0b0b;stroke-width:2.0px;}#mermaid-svg-JrKfWVJSa8rwQD8H .flowchart-link{stroke:#0b0b0b;fill:none;}#mermaid-svg-JrKfWVJSa8rwQD8H .edgeLabel{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-JrKfWVJSa8rwQD8H .edgeLabel p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-JrKfWVJSa8rwQD8H .edgeLabel rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-JrKfWVJSa8rwQD8H .labelBkg{background-color:rgba(243.9999999999, 220.9999999998, 255, 0.5);}#mermaid-svg-JrKfWVJSa8rwQD8H .cluster rect{fill:hsl(220.5882352941, 100%, 98.3333333333%);stroke:hsl(220.5882352941, 60%, 88.3333333333%);stroke-width:1px;}#mermaid-svg-JrKfWVJSa8rwQD8H .cluster text{fill:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-JrKfWVJSa8rwQD8H .cluster span{color:rgb(8.5000000002, 5.7500000001, 0);}#mermaid-svg-JrKfWVJSa8rwQD8H div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(220.5882352941, 100%, 98.3333333333%);border:1px solid hsl(220.5882352941, 60%, 88.3333333333%);border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-JrKfWVJSa8rwQD8H .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-JrKfWVJSa8rwQD8H rect.text{fill:none;stroke-width:0;}#mermaid-svg-JrKfWVJSa8rwQD8H .icon-shape,#mermaid-svg-JrKfWVJSa8rwQD8H .image-shape{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);text-align:center;}#mermaid-svg-JrKfWVJSa8rwQD8H .icon-shape p,#mermaid-svg-JrKfWVJSa8rwQD8H .image-shape p{background-color:hsl(-79.4117647059, 100%, 93.3333333333%);padding:2px;}#mermaid-svg-JrKfWVJSa8rwQD8H .icon-shape .label rect,#mermaid-svg-JrKfWVJSa8rwQD8H .image-shape .label rect{opacity:0.5;background-color:hsl(-79.4117647059, 100%, 93.3333333333%);fill:hsl(-79.4117647059, 100%, 93.3333333333%);}#mermaid-svg-JrKfWVJSa8rwQD8H .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-JrKfWVJSa8rwQD8H .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-JrKfWVJSa8rwQD8H :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}#mermaid-svg-JrKfWVJSa8rwQD8H .row>*{fill:#F3F4F6!important;stroke:#9AA4B2!important;color:#17324D!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .row span{fill:#F3F4F6!important;stroke:#9AA4B2!important;color:#17324D!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .row tspan{fill:#17324D!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .user>*{fill:#E8F1FB!important;stroke:#3B82C4!important;color:#17324D!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .user span{fill:#E8F1FB!important;stroke:#3B82C4!important;color:#17324D!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .user tspan{fill:#17324D!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .dec>*{fill:#FFF4E0!important;stroke:#D99A2B!important;color:#5A3B00!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .dec span{fill:#FFF4E0!important;stroke:#D99A2B!important;color:#5A3B00!important;}#mermaid-svg-JrKfWVJSa8rwQD8H .dec tspan{fill:#5A3B00!important;} 显示层

一帧画面
编码层

一个 AU
单元层

多个 NAL
传输层

多个 RTP 包

所以 I/P/B 描述的是"这一帧怎么编",AU 描述的是"这一帧的数据范围"。一个 AU 通常由多个 NAL 组成,一个较大的 NAL 又要切成多个 RTP 包。

5. 丢帧时到底能丢什么

可以丢的

  • 整个 AU。P 帧或 B 帧丢了,后续依赖它的帧会解不出来,但解码器不会崩,会等下一个 IDR 恢复。
  • 非参考帧优先丢。B 帧通常不被其他帧参考,丢它不影响别人。

不能丢的

  • 参数集。SPS/PPS 一丢,后续所有帧都无法初始化,比丢一个 P 帧严重得多。
  • 一个 AU 的中间分片。只丢后半段会让客户端拿到不完整的帧,直接花屏。
  • 同一 AU 内的部分 RTP 包。表现为绿块、撕裂、解码器报错。
  • 序号与时间戳的正确性。错位比丢包更难恢复。

还有一个容易低估的事实:丢掉一个 P 帧,代价不是一个帧,而是它之后直到下一个 IDR 的整个 GOP。关键帧间隔越长,丢一帧的影响面越大。

6. 参数集:解码器的说明书

参数集不含画面数据,但决定了切片怎么解析。

参数集 NAL 类型 主要内容
SPS 7 profile/level、分辨率、色度格式、位深、参考帧数量、帧号位宽、POC 类型、VUI
PPS 8 熵编码方式、初始 QP、去块滤波、加权预测、默认参考索引、切片组

SPS 有 seq_parameter_set_id,PPS 通过 pic_parameter_set_id 挂到 SPS,每个切片头再引用 PPS。所以解码顺序必须是 SPS、PPS、切片。

参数集有两种下发方式:

  1. 带内:作为 NAL 7/8 编进码流,通常放在每个 IDR 前面。丢包重连后能自恢复。
  2. 带外:放在 SDP 的 a=fmtp 里,用 sprop-parameter-sets 以 base64 给出。客户端在 PLAY 之前就拿到,首帧不用等。

工程上两者都做最稳:带外保证首帧,带内保证恢复。另外参数集不是发一次管一辈子,分辨率、profile 变化或编码器重启后必须重发,判断依据是内容或 id 是否变化,不能只看"已经发过"。

7. 让花屏和抖动都可控的几条实践

  1. 起播对齐关键帧。PLAY 之后先丢弃非关键帧,等到 IDR 再开始发送,避免客户端从一堆无法解码的 P 帧起步。
  2. 失败就整帧丢,不补半帧。发送失败时丢弃当前 AU 的剩余部分,等下一个 IDR 重新对齐;补发剩余分片只会产生有头无尾的帧。
  3. 保证分片完整与序号连续。发送缓冲满时保留分片偏移和游标,序号只在发送成功后自增,避免客户端收到重复序号或截断分片。
  4. 稳定节拍,而不是追求瞬时吞吐。RTP 时间戳按 90000/fps 步进,帧间隔按实际帧率计算,不写死 33 毫秒;同时设置突发上限和单帧时间片,避免一轮把几帧一次灌进队列。
  5. 多路之间公平调度。按会话轮转、每轮每会话一帧,避免靠前的会话把预算吃光,后面的会话长期饥饿,帧间隔从几十毫秒跳到几百毫秒。
  6. 传输模式按场景选。UDP 无队头阻塞,代价是允许丢包、靠 IDR 恢复;TCP 可靠但弱信号下会因重传形成停滞后突发,抖动反而更明显。

8. 怎么验证真的变好了

不要只看平均码率,它掩盖了大部分问题。至少记录:

  • 丢包、乱序、重复包数量;
  • 帧间隔的 p50、p95、最大值,而不是平均帧率;
  • 从丢包到重新收到 IDR 的恢复时间;
  • RTCP SR 中服务端自报的包数与客户端实收数是否对齐,这是判断"是否漏了首包前的丢包"最直接的证据;
  • 通过抓包确认单个 AU 内所有 RTP 包时间戳相同、marker 只在最后一包出现。

9. 换一个协议:RTMP 会不会一样

把同样的视频换到 RTMP 上,码流层的规则完全通用,传输层的规则只通用一部分。

问题 RTSP/RTP RTMP
花屏根因 丢包、半帧、参数集缺失 序列头缺失、tag 边界错、时间戳错
能否丢帧 允许丢,靠 IDR 恢复 TCP 可靠,一般不丢;主动丢时同样整帧丢
参数集下发 SDP 带外加码流带内 建流时的 AVC sequence header
节拍 90 kHz 时间戳,按帧率步进 毫秒时间戳,注意 32 位回绕
抖动来源 无线丢包、发送端拥塞 TCP 重传突发、服务端队列积压

RTMP 特有的花屏原因有四个:

  1. 客户端没拿到 AVC sequence header 就开始收视频数据。RTMP 把 SPS/PPS 放在 AVCDecoderConfigurationRecord 里,作为建流信息发出;漏发、晚发或重连没补发,后面所有帧都解不了。
  2. FLV tag 边界算错,一个 tag 里装了半个 AU。TCP 保证字节有序,但不保证应用层切分正确。
  3. 时间戳非单调或回绕处理错误。RTMP 用 32 位毫秒时间戳,约 49.7 天回绕;有 B 帧时还要区分解码时间与显示时间。
  4. 从非关键帧开始推流,客户端要等到下一个 IDR 才出画面。

RTMP 的抖动则主要来自别处:它不丢包,但队头阻塞会把网络抖动转成延迟抖动,一次重传之后所有数据都要等;上行带宽不足时发送队列持续积压,表现为越看越慢,然后突然快进。所以 RTMP 更依赖码率控制和发送端限速,而不是靠丢帧恢复。

跨协议不变的三条原则是:起播对齐关键帧;丢帧只丢完整的一帧,恢复只等 IDR;参数集必须可重复获得,带外一次不够,带内或重连补发才是兜底。

结语

花屏和卡顿看起来都是"网络问题",实际是解码依赖和发送节拍两个独立问题。把 AU 当作丢帧的最小单位,把 IDR 当作恢复的最小单位,把参数集当作必须始终可得的说明书,大部分现场问题都能收敛到可解释的范围内。

一句话记忆:参数集是说明书,切片是正文;丢帧以 AU 为单位,恢复以 IDR 为单位。

相关推荐
我才是银古9 天前
把视频生产做成一条可验证的流水线
视频·视频制作·deepseek·dsh·dsh插件
謓泽14 天前
【插件】用写网页的方式做视频?HyperFrames 让我重新理解了“做视频“这件事!
gpt·ai·大模型·音视频·媒体·claude·视频
我才是银古14 天前
视频是算出来的:DeepSeek Harness零素材全代码生成视频插件
ai·视频·插件·deepseek·dsh
小豆庄16 天前
测试视频里的人脸车牌敏感信息自动化脱敏方案
计算机视觉·目标跟踪·ffmpeg·音视频·边缘计算·视频·敏捷流程
ck01357917 天前
视频片段提取与视频修剪的区别:多时间段选择及导出流程
人工智能·音视频·视频
小豆庄18 天前
监控视频脱敏的追踪漂移与ID撞号陷阱
目标跟踪·ffmpeg·音视频·视频·敏捷流程
ACP广源盛1392462567318 天前
选型笔记:Type‑C 扩展坞方案评估|DP1.2 转 HDMI2.0 桥接芯片 GSV2201D@ACP
笔记·硬件架构·硬件工程·视频·国产芯片
AiNightVision18 天前
无人机夜视模块如何选择?——从参数指标到系统集成的完整选型指南
人工智能·算法·计算机视觉·车载系统·无人机·视频·智能硬件
ACP广源盛1392462567318 天前
选型笔记:HDMI2.1 四进一出切换中继方案 GSV6705@ACP 评估
笔记·硬件架构·硬件工程·视频·国产芯片