【ffmpeg】SPS与PPS的概念

PPS（Picture Parameter Set）详解

PPS（图像参数集）是H.264/H.265视频编码标准中的关键数据结构，与SPS（序列参数集）共同组成视频的解码配置信息，直接影响视频的正确解码和播放。以下是全面解析：

1. PPS 是什么？

定义：
PPS（Picture Parameter Set）是H.264/H.265码流中的一种参数集，存储单帧图像的解码参数（如熵编码模式、分片信息等）。
作用：
- 为解码器提供解码单帧所需的配置信息。
- 与SPS（序列参数集）配合，减少码流冗余（多个帧可共享同一PPS）。

2. PPS 与 SPS 的关系

参数集	名称	作用范围	内容示例
SPS	序列参数集	整个视频序列	分辨率、帧率、Profile/Level
PPS	图像参数集	单帧或一组帧	熵编码模式、分片数量、QP偏移量

PPS中包含的解码关键参数：

熵编码模式
- entropy_coding_mode_flag：
  - 0：使用CAVLC（简单场景）。
  - 1：使用CABAC（高效压缩，但计算复杂）。
分片（Slice）控制
- num_slice_groups_minus1：分片组数量（通常为0，表示不分片）。
- slice_group_map_type：分片组的映射方式。
量化参数（QP）
- pic_init_qp_minus26：初始QP值（影响图像质量与码率）。
- chroma_qp_index_offset：色度分量的QP偏移量。
去块滤波（Deblocking Filter）
- deblocking_filter_control_present_flag：是否启用去块滤波。

3. PPS 在码流中的位置

存储位置：
- 通常位于视频文件的头部（如MP4的moov盒子中）。
- 在直播或流媒体中，可能周期性重复插入（防止丢包导致无法解码）。

查看方法 ：

使用 ffprobe 提取H.264/H.265的PPS信息：

bash 复制代码

ffprobe -v error -show_data -show_packets -select_streams v test.h264 | grep "PPS"

4. 为什么PPS很重要？

(1) 解码依赖

解码器必须获取PPS才能正确解析帧数据。若丢失PPS，会导致花屏或解码失败。
示例：
直播中若丢失PPS包，后续视频帧可能无法解码，直到收到新的PPS。

(2) 码流优化

通过调整PPS参数（如QP值），可平衡视频质量与压缩率。
动态PPS ：
某些编码器允许在视频中动态更新PPS（适应场景变化）。

(3) 容错性

在H.264的Baseline Profile中，PPS/SPS需频繁重复发送，提升抗丢包能力。

SPS（Sequence Parameter Set）详解

SPS（序列参数集）是H.264/H.265视频编码标准中的核心元数据，存储视频流的全局解码参数，是解码器正确解析视频的基础。以下是深度解析：

1. SPS的作用

定义视频流的全局属性
包括分辨率、帧率、编码档次（Profile）、级别（Level）等。
提供解码器的初始化配置
解码器必须先读取SPS，才能正确解析后续的PPS和视频帧数据。
与PPS协同工作
SPS（全局参数） + PPS（帧级参数） = 完整的解码配置。

2. SPS包含的关键参数

参数	说明
profile_idc	编码档次（如Baseline、Main、High Profile），决定支持的编码工具。
level_idc	级别（如3.1、4.0），限制最大分辨率、帧率和码率。
pic_width/height	视频分辨率（需通过计算得出，见下文）。
log2_max_frame_num	帧编号的最大比特数，影响GOP（关键帧间隔）长度。
chroma_format	色度采样格式（如4:2:0、4:4:4）。
bit_depth	像素位深（8bit、10bit）。
vui_parameters	视频可用性信息（如帧率、色彩空间、宽高比）。

3. 如何从SPS计算分辨率？

SPS中的分辨率通过以下参数间接表示：

c 复制代码

width  = (pic_width_in_mbs_minus1 + 1) * 16;
height = (pic_height_in_map_units_minus1 + 1) * 16 * (2 - frame_mbs_only_flag);

示例：
若pic_width_in_mbs_minus1=44，则宽度为 (44+1)*16 = 720。

4. SPS在码流中的位置

存储位置
- 文件格式（如MP4）：存储在moov盒子的avcC/hvcC中。
- 裸流（H.264 Annex B）：以NALU单元形式存在，NALU类型为7（H.264）或33（H.265）。

查看方法

使用FFmpeg提取SPS：

bash 复制代码

ffmpeg -i input.mp4 -c:v copy -bsf:v trace_headers -f h264 - 2>&1 | grep "SPS"

5. SPS与PPS的关系

特性	SPS	PPS
作用范围	整个视频序列	单帧或一组帧
主要内容	分辨率、Profile/Level	熵编码模式、QP值、分片信息
NALU类型	7（H.264）、33（H.265）	8（H.264）、34（H.265）
依赖关系	PPS引用SPS（通过`pps_id`）	帧数据引用PPS

PPS与SPS的组织

PPS（Picture Parameter Set）和SPS（Sequence Parameter Set）在H.264/H.265视频码流中通过严格的二进制语法结构存储，其物理组织分为 逻辑结构 和 存储格式 两部分。

1. 逻辑结构：NALU单元

PPS和SPS在码流中以 NALU（Network Abstraction Layer Unit） 的形式存在，每个NALU包含独立的参数集数据。

组件	说明
NALU Header	1字节，包含类型标识（NALU Type）和其他控制位。
NALU Payload	存储PPS/SPS的实际参数数据，采用指数哥伦布编码（Exp-Golomb）。

NALU类型标识 ：
- H.264：SPS=7，PPS=8
- H.265：VPS=32，SPS=33，PPS=34

2. 存储格式

(1) Annex B格式（裸流）

常见于.h264/.h265裸流文件或直播流，通过 起始码（Start Code） 分隔NALU：

plaintext 复制代码

0x00000001 [NALU Header] [Payload]  // SPS
0x00000001 [NALU Header] [Payload]  // PPS
0x00000001 [NALU Header] [Payload]  // 视频帧数据

起始码 ：0x00000001（4字节）或0x000001（3字节）。

(2) AVCC格式（MP4容器）

MP4等容器将PPS/SPS存储在 avcC（H.264）或hvcC（H.265）盒子 中，结构如下：

plaintext 复制代码

moov
├── trak
│   └── mdia
│       └── minf
│           └── stbl
│               └── avcC (Box)
│                   ├── configurationVersion (1字节)
│                   ├── AVCProfileIndication (1字节, Profile)
│                   ├── profile_compatibility (1字节)
│                   ├── AVCLevelIndication (1字节, Level)
│                   ├── lengthSizeMinusOne (1字节, NALU长度字段大小)
│                   ├── numOfSPS (1字节, SPS数量)
│                   ├── SPS数据 (变长)
│                   ├── numOfPPS (1字节, PPS数量)
│                   └── PPS数据 (变长)

SPS/PPS数据 ：以长度前缀（通常2字节） + NALU Payload形式存储，无起始码。

3. PPS/SPS的二进制语法

以H.264的SPS为例，其Payload按以下顺序组织（部分字段）：

plaintext 复制代码

profile_idc (8bit) → constraint_flags (3bit) → level_idc (8bit) → seq_parameter_set_id (Exp-Golomb)
→ log2_max_frame_num_minus4 (Exp-Golomb) → pic_order_cnt_type (Exp-Golomb)
→ num_ref_frames (Exp-Golomb) → gaps_in_frame_num_value_allowed_flag (1bit)
→ pic_width_in_mbs_minus1 (Exp-Golomb) → pic_height_in_map_units_minus1 (Exp-Golomb)
→ frame_mbs_only_flag (1bit) → direct_8x8_inference_flag (1bit)
→ frame_cropping_flag (1bit) → vui_parameters_present_flag (1bit) → ...

Exp-Golomb编码 ：用于压缩变长整数（如pic_width_in_mbs_minus1）。

4. PPS/SPS的引用关系

层级依赖：

SPS PPS Slice
- 每个PPS通过seq_parameter_set_id关联到对应的SPS。
- 每个视频Slice通过pic_parameter_set_id关联到PPS。
多组PPS/SPS ：

一个视频流可能包含多组PPS/SPS（例如动态调整QP参数），通过ID区分。

5. 工具验证

(1) 提取NALU

bash 复制代码

ffmpeg -i input.mp4 -c:v copy -bsf:v trace_headers -f h264 - 2>&1 | grep -A 10 "SPS\|PPS"

(2) 解析二进制内容

使用h264_analyzer或Elecard StreamEye工具可视化参数：

plaintext 复制代码

SPS NALU:
  profile_idc: 100 (High)
  level_idc: 31 (3.1)
  pic_width_in_mbs: 45 → 720x1280
  chroma_format_idc: 1 (4:2:0)

在RTSP视频流中，PPS（Picture Parameter Set）和SPS（Sequence Parameter Set）的组织方式直接影响视频流的解码和播放。以下是RTSP流中PPS/SPS的详细组织方式和传输机制：

rtsp视频流的组织

1. RTSP流中PPS/SPS的传输方式

RTSP（Real-Time Streaming Protocol）通常通过RTP（Real-time Transport Protocol）封装H.264/H.265视频流。PPS和SPS的传输分为两种模式：

(1) 内联模式（In-Band）

特点：PPS/SPS与视频帧数据混合在RTP包中传输。
触发条件 ：
- 首次连接时发送。
- 关键帧（IDR帧）前必须附带PPS/SPS。
- 动态参数变更时（如分辨率调整）。
RTP包类型 ：
- SPS：NALU类型=7（H.264）或33（H.265）。
- PPS：NALU类型=8（H.264）或34（H.265）。

(2) 外联模式（Out-of-Band）

特点：通过SDP（Session Description Protocol）在RTSP的DESCRIBE响应中传递PPS/SPS。
SDP示例 ：
sdp 复制代码
```
a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAH6zZQFAFuhAAAAMAEAAAAwPI8YMQ,aO48sA==;
```
- sprop-parameter-sets：Base64编码的SPS（第一个参数）和PPS（第二个参数）。
- packetization-mode=1：表示使用分片传输模式（需内联PPS/SPS）。

2. RTP封装的PPS/SPS格式

(1) 单NALU模式（Packetization Mode 0）

规则：每个RTP包仅包含一个完整的NALU（包括PPS/SPS）。

示例：

plaintext 复制代码

RTP Header | NALU Header (0x67) | SPS Payload
RTP Header | NALU Header (0x68) | PPS Payload

(2) 分片模式（Packetization Mode 1）

规则：PPS/SPS作为独立的NALU发送，视频帧可能分片。
要求：
- 关键帧前必须发送PPS/SPS（通常组合为一个RTP包）。
- 使用**STAP-A（Single-Time Aggregation Packet）**封装多个NALU：
  plaintext 复制代码
```
RTP Header | STAP-A Header (0x78) | NALU1 Size | NALU1 (SPS) | NALU2 Size | NALU2 (PPS)
```

(3) 关键帧前的PPS/SPS

标准做法 ：在IDR帧前发送SPS + PPS + IDR的组合包：
plaintext 复制代码
```
[RTP Packet 1]: SPS
[RTP Packet 2]: PPS
[RTP Packet 3]: IDR Frame (分片)
```

3. 实际抓包分析

通过Wireshark捕获RTSP流，可以看到PPS/SPS的传输逻辑：

RTSP DESCRIBE响应：SDP中携带Base64编码的PPS/SPS。
RTP流 ：
- 首个视频包为SPS（NALU类型7）。
- 第二个包为PPS（NALU类型8）。
- 后续为视频帧数据（分片或完整NALU）。

4. 常见问题与解决

(1) 播放器报错"No SPS/PPS"

原因：RTSP流未正确发送或SDP未包含PPS/SPS。
解决：
- 检查服务器配置，确保关键帧前发送PPS/SPS。
- 在SDP中强制声明参数集：
  sdp 复制代码
```
a=fmtp:96 sprop-parameter-sets=Z2QAH6zZQFAFuhAAAAMAEAAAAwPI8YMQ,aO48sA==;
```

(2) 动态分辨率切换

处理：分辨率变化时，需重新发送新的SPS/PPS。
实现：通过RTSP的SET_PARAMETER请求通知客户端参数更新。

5. 代码示例（FFmpeg推流）

使用FFmpeg推送带PPS/SPS的RTSP流：

bash 复制代码

ffmpeg -re -i input.mp4 -c:v copy -f rtsp -rtsp_transport tcp rtsp://server/live.stream

-c:v copy：保留原始SPS/PPS。
-rtsp_transport tcp：确保参数集可靠传输。

6. 总结

关键点	RTSP中的实现方式
首次传输	通过SDP（Out-of-Band）或首个RTP包（In-Band）发送。
关键帧关联	每个IDR帧前必须附带PPS/SPS。
封装格式	单NALU、STAP-A或分片模式，依赖`packetization-mode`。
动态更新	通过SDP或新的RTP包组通知客户端。
容错要求	需周期性重复发送（尤其直播场景），避免新观众无法解码。

如果需要验证具体流的PPS/SPS组织，可通过Wireshark抓包或FFmpeg日志分析：

bash 复制代码

ffmpeg -i rtsp://server/stream -c:v copy -bsf:v trace_headers -f null - 2>&1 | Select-String "SPS\|PPS"

Wireshark抓包分析

1.过滤 RTSP/RTP 流量

基础过滤语法：
plaintext 复制代码
```
rtsp || rtp || udp.port == 554
```
- rtsp：过滤 RTSP 控制协议（如 DESCRIBE/SETUP/PLAY）。
- rtp：过滤 RTP 媒体流。
- udp.port == 554：RTSP 默认端口（TCP/UDP 554）。
精确过滤（按流地址）：
plaintext 复制代码
```
ip.addr == 192.168.1.100 && (rtsp || rtp)
```

触发视频流

在播放器或设备中发起 RTSP 连接（如 rtsp://192.168.1.100/live）。

2. 定位 PPS/SPS

(1) 通过 SDP 获取（DESCRIBE 响应）

查找 RTSP DESCRIBE 请求的响应包（200 OK）。
展开报文中的 SDP 部分 ，定位 sprop-parameter-sets：
sdp 复制代码
```
a=fmtp:96 sprop-parameter-sets=Z2QAH6zZQFAFuhAAAAMAEAAAAwPI8YMQ,aO48sA==;
```
- Base64 解码 ：
  - 第一个参数是 SPS（Z2QAH6zZQFAFuhAAAAMAEAAAAwPI8YMQ）。
  - 第二个参数是 PPS（aO48sA==）。

(2) 通过 RTP 包获取

过滤 RTP 包：

plaintext 复制代码

rtp && rtp.payloadtype == 96  // 96 是常见的动态负载类型

查找 NALU 类型 ：
- SPS ：RTP 负载首字节 0x67（H.264）或 0x42 0x01（H.265 SPS，NALU 类型=33）。
- PPS ：RTP 负载首字节 0x68（H.264）或 0x42 0x02（H.265 PPS，NALU 类型=34）。
关键帧前必带 PPS/SPS ：
- 在 IDR 帧（关键帧）前的 RTP 包中，通常会连续出现 SPS → PPS → IDR。

4. 分析示例

(1) Wireshark 中的关键字段

RTP 头 ：
- Payload Type：96（动态负载类型）。
- Sequence Number：检查丢包。
- Timestamp：同步音视频。
RTP 负载 ：
- NALU 头：首字节的低 5 位表示类型（如 7=SPS，8=PPS）。
- 负载数据：SPS/PPS 的二进制参数。

(2) 十六进制解析

右键点击 RTP 包 → "Show Packet Bytes" → 查看负载部分：

plaintext 复制代码

67 64 00 1E AC D9 40 ...  // SPS (0x67)
68 E9 7B 1C ...           // PPS (0x68)
65 88 80 ...              // IDR Frame (0x65)

5. 高级技巧

(1) 解码参数集

使用 h264_parse 工具 （FFmpeg 内置）解析 SPS/PPS：

bash 复制代码

ffmpeg -hide_banner -i input.h264 -c:v copy -bsf:v trace_headers -f null - 2>&1 | grep -A 10 "SPS\|PPS"

(2) 过滤关键帧

查找 IDR 帧（NALU 类型=5）：
plaintext 复制代码
```
rtp.payload[0] & 0x1F == 5  // H.264 IDR
```

(3) 保存特定流

右键点击目标 RTP 流 → "Decode As" → 选择 RTP → 导出为 .pcap 文件。

6. 常见问题

(1) 抓不到 RTP 包

原因：可能走了 TCP 传输（如 RTSP over TCP）。
解决：过滤 TCP 流量：
plaintext 复制代码
```
tcp.port == 554 || tcp.payload contains "RTP/AVP"
```

(2) SPS/PPS 不完整

解决：检查是否在 IDR 帧前发送，或通过 SDP 补充。

7. 总结

步骤	操作
1. 抓包	选择网卡 → 开始捕获 → 过滤 `rtsp
2. 定位 PPS/SPS	通过 SDP 或 RTP 包（NALU 类型 7/8）。
3. 分析关键帧	确认 IDR 帧前是否有 SPS → PPS → IDR 的顺序。
4. 调试工具	Wireshark 十六进制视图 + FFmpeg 解析。

通过此方法，可以精准捕获并验证 RTSP 流中 PPS/SPS 的组织方式，确保解码器能正确初始化。