ISP模式

在 H.266 / VVC 中,ISP 模式指的是:

ISP = Intra Sub-Partitioning(帧内子分区预测)

它是 VVC 相比 HEVC 新增的一项重要帧内预测工具 ,目标是:

👉 提升细长 CU、强方向纹理区域的帧内预测精度。


一句话先抓重点 🧠

ISP 的核心思想:
不是"一个 CU 用一个预测",
而是"一个 CU 沿方向切成多块,每块单独做帧内预测"。


一、ISP 在解决什么问题?

在 HEVC / 传统帧内预测里:

  • 一个 CU(如 8×16、4×16)

  • 整块只选一个 Intra Mode

  • 对于:

    • 竖直条纹
    • 横向边缘
    • 强方向纹理

👉 预测不够贴合


二、ISP 的基本做法

1️⃣ 适用对象

  • 帧内 CU

  • 通常是 非方形、细长 CU

  • 如:

    • 4×16
    • 8×32
    • 16×4

2️⃣ 分区方式(重点)

ISP 只做 一维切分 ,而且 方向与预测方向一致:

ISP 类型 子分区方式
ISP-H 沿水平方向切(多条横条)
ISP-V 沿垂直方向切(多条竖条)

示意(ISP-V):

复制代码
+----+----+----+
|    |    |    |
|    |    |    |
|    |    |    |
+----+----+----+

3️⃣ 每个子分区怎么处理?

对 每一个子分区:

  • 使用 同一个 Intra Mode

  • 但:

    • 独立生成预测
    • 独立做残差、变换、量化
  • 参考像素:

    • 左 / 上边界
    • 以及前一个已重建的子分区

👉 子分区 有因果顺序


三、ISP 的 RD 优势来源(为什么有效)

ISP 提升 RD 的原因主要有 3 点:

✅ 1️⃣ 缩短预测距离

  • 每个子分区只预测一小条
  • 插值误差明显下降

✅ 2️⃣ 更好贴合方向纹理

  • 特别适合:

    • 垂直结构 → ISP-V
    • 水平结构 → ISP-H

✅ 3️⃣ 残差能量更集中

  • 残差更"尖"
  • 变换效率更高

四、ISP 的代价(为什么复杂)

⚠️ 编码复杂度高

  • 同一个 CU:

    • 普通 Intra
    • ISP-H
    • ISP-V
      → 都要试 RD

⚠️ 解码复杂度增加

  • 顺序重建
  • 依赖前子分区像素

⚠️ 实现复杂

  • 参考样本管理更复杂
  • 管线不好做并行

五、ISP 与其他 Intra 工具的关系(工程里很关键)

ISP vs MIP

ISP MIP
思想 子分区 模型预测
擅长 强方向纹理 低频/平滑
是否可共存 ❌ 同一 CU 不能同时用 ---

👉 ISP 和 MIP 互斥


ISP vs Intra 多方向模式

  • ISP 不是新方向
  • 是对已有方向预测的 结构增强

六、在 VTM / ECM

常见规律(经验):

  • 16x4 → ISP-H 命中率高
  • 4x16 / 8x16 → ISP-V 命中率高
  • 大方块(32×32) → 很少选 ISP

七、标准层面的位置

  • ISP 定义在 VVC 帧内预测工具集

  • 编码器可选工具(非强制)

  • 通过 flag 信令:

    • 是否启用 ISP
    • ISP-H / ISP-V

八、一句工程总结(给做编码的人)

ISP 本质是:
用"空间顺序 + 局部预测"
换取"RD 增益",
代价是"复杂度 + 实现难度"。


相关推荐
Industio_触觉智能4 天前
瑞芯微RK平台视频硬解排障指南-下|板端实测记录
音视频·视频编码·视频编解码·零拷贝·gstreamer·视频解码·rk3576
智能直播8 天前
RK3576 + NDI 框架:HX2 编码输出与 HX2/FULL介绍
音视频·实时音视频·视频编解码
Industio_触觉智能10 天前
瑞芯微RK平台视频硬解排障指南-上|编解码、GStreamer与零拷贝全解析
视频编码·视频编解码·零拷贝·gstreamer·视频解码·rk3576
常州晟凯电子科技11 天前
8路CVBS/AHD模拟视频编码器评测
音视频·视频编解码
VidDown12 天前
上线三个月后的第一次事故:一个 Django 服务的日志、监控与故障复盘
数据库·python·django·wpf·音视频·视频编解码
VidDown12 天前
24fps 转 25fps 不只是改个数字:帧率转换、PAL/NTSC 与音频补偿
python·网络协议·音视频·视频编解码·视频
常州晟凯电子科技13 天前
8路CVBS/AHD合成一路视频无线传输系统评测
音视频·视频编解码
智能直播13 天前
网络RTMP拉流不卡顿、声音不同步,一文讲透缓冲区、时间戳
开发语言·ffmpeg·php·音视频·视频编解码
智能直播13 天前
RK3528 V4L2 框架 UVC 接口自动获取 H.264 / MJPEG / YUYV 格式:从内核采集到硬解分发
java·网络·实时音视频·视频编解码·h.264
常州晟凯电子科技15 天前
多对一无线视频传输系统评测
音视频·视频编解码