工业级 ISP 常用压缩算之二

在真正车载、安防 IPC、运动相机、无人机 等工业级 ISP 中，为3DNR / WDR / 帧融合 等需要随机访问、低延迟、固定时序、块独立 的帧缓存压缩 ，几乎不会使用 H.264/HEVC/AV1 这类通用视频编码 ，而是使用一套专门面向帧缓存优化的专用压缩技术栈。

它们统称为Frame Buffer Compression (FBC) 或 Lossless/Lossy Spatial Compression for ISP ，核心设计目标是：节省 DDR 带宽 & 容量 + 支持任意 (x,y) 随机读取 + 极低固定延迟 + 不影响图像质量 + 硬件友好。

一、工业级 ISP 帧缓存压缩的核心设计原则（必须先理解）

所有真实量产 FBC 都严格遵守以下铁律，这是与通用视频编码最大的区别：

块独立（Tile Independent） 块与块之间无任何数据依赖 ，修改 / 读取一块不影响其他块。→ 支持随机访问。
无双向预测、无帧间预测不使用 P/B 帧、运动补偿、参考帧列表等。→ 延迟固定、可随机读写。
固定最大码率 / 块长 任何块压缩后长度不超过上限，DDR 带宽可预算。
低延迟、流水线友好 压缩 / 解压缩延迟固定若干拍，可直接嵌入 ISP 流水线。
近无损 / 可控有损 误差≤1LSB，或在平滑区域允许极小可控误差，无振铃、无块效应。
可随机读写（R/W） 不仅可读，还支持部分改写（如 ISP 回写、ROI 更新）。

通用视频编码几乎违反所有原则 ，因此不能用于帧缓存。

二、工业级 ISP 帧缓存压缩主流技术原理主线

真实量产方案主要分为四大类，按应用场景选择：

主线 1：自适应位宽 + DPCM（最主流，你之前关注的方案）

代表应用：3DNR 参考帧压缩 代表厂商：海思、安霸、Ambarella、Novatek、联咏、德州仪器

原理主线

分块：16×4 / 16×8 / 32×4（适配行流水与 DDR）
空间预测：DPCM 左向 / 左上预测，缩小残差范围
块内统计：Min/Max/Range 二叉树并行计算
自适应位宽分配：2/4/6/8bit 动态选择
Base + 残差编码：残差 = 像素 − 预测，归一化到 0 起点
BitPack 紧凑打包：无字节对齐浪费
固定块头：Mode + Base
块地址表 LUT：实现坐标→块地址映射，支持随机访问

关键特性

块独立
延迟：3~5 拍固定
压缩比：1.5~2.8x
近无损
支持任意 (x,y) 随机读
硬件面积小

典型应用

3DNR 参考帧 Y 缓存
WDR 短 / 长曝光帧缓存
防抖参考帧

主线 2：差分帧压缩（Delta Frame Compression）

代表应用：高帧率连续帧、电子防抖、帧缓存备份 代表厂商：索尼、三星、佳能

原理主线

以帧为基，存储 I 帧（完整帧）
后续帧存储与 I 帧的残差
残差使用自适应位宽 + 游程编码
仍保持块独立，不做长距离预测
随机读取时：像素 = 基帧像素 + 残差

关键特性

仍支持随机访问
高帧、慢变场景压缩比可达 3~4x
基帧更新可配置

主线 3：分段位宽压缩（Segmented Bit-depth Compression）

代表应用：RAW 10→12bit 缓存、Bayer 帧缓存 代表厂商：OmniVision、Sony、Onsemi

原理主线

按行 / 按块分段
每段选择动态位宽：如 6/8/10bit
段头记录位宽模式
无复杂预测，纯位宽裁剪
极简单硬件、极低延迟

典型应用

DPC 前 Bayer 缓存
长帧 RAW 缓存

主线 4：内容感知 Bypass + 选择性压缩（高端车载标配）

就是你问的：ABD + DPCM + 运动掩码 代表应用：车载 ISP 3DNR 代表厂商：Mobileye、英伟达、安霸、TI、地平线

原理主线

块级 SAD 运动检测
静止块：强压缩（ABD+DPCM）
运动块：Bypass 直存
1bit 运动掩码索引
解码时路由选择解压 / 直出

核心价值

运动区域无压缩误差累积
不产生拖影、噪声漂移
压缩比与画质最优平衡

三、工业级 FBC 统一通用架构（所有厂商都遵循）

cpp 复制代码

[ISP流水线数据]
          |
          v
+-----------------------+
|     块切割(Tile)      |  → 固定大小，块独立
+-----------------------+
          |
          v
+-----------------------+
|    空间预测(DPCM)     |  → 缩小残差动态范围
+-----------------------+
          |
          v
+-----------------------+
|  块统计Min/Max/Range  |  → 并行二叉树
+-----------------------+
          |
          v
+-----------------------+
|  自适应位宽模式决策   |  → 组合逻辑查表
+-----------------------+
          |
          v
+-----------------------+
|  残差归一化+BitPack   |  → Base+Res，紧凑排列
+-----------------------+
          |
          v
+-----------------------+
|    块头组装 & 写DDR   |  → 固定头格式
+-----------------------+
          |
          DDR
          |
+-----------------------+
|    块地址表(LUT)      |  → 坐标→块地址，随机访问
+-----------------------+

解压缩逆流程：

plaintext

复制代码

DDR → 读块 → 解析头 → BitUnpack → 残差恢复 → IDPCM → 像素输出

四、为什么通用视频编码绝对不能用于 ISP 帧缓存？

特性	ISP 帧缓存专用 FBC	通用视频编码 (H.264/HEVC/AV1)
随机访问	支持任意 (x,y) 单块读取	必须解码整行 / 整帧 / 参考帧
延迟	固定 3~6 拍	数十行～数帧延迟
块独立性	完全独立	强依赖：帧间、CABAC 上下文
读写支持	支持随机改写	只适合顺序码流，不可写
硬件复杂度	低，数万门级	极高，需多核处理器
带宽可控性	固定最大块长，可预算	码率波动巨大，不可预测
对画质影响	近无损 / 可控有损	典型有损，易产生振铃 / 块效应

结论：

用视频编码是为存储 / 传输 优化，ISP FBC 是为帧缓存随机访问 优化，设计目标完全相反。

五、工业级真实应用场景与对应压缩方案

模块	典型压缩方案	目的
3DNR 参考 Y 帧	自适应位宽 + DPCM + 运动掩码	节省 DDR，随机访问，无运动拖影
WDR 多曝光帧	自适应位宽 + 分通道压缩	同时存长 / 短 / 中曝光
Bayer RAW 缓存	分段位宽压缩 + 简单 DPCM	降低 RAW 带宽
电子防抖参考帧	差分帧 + 块独立压缩	高压缩比，仍可随机读
回放缓存、OSD 层	轻量级 BitPack 压缩	低硬件开销

六、总结：工业级 ISP 帧缓存压缩原理主线

真正面向随机访问帧缓存的 ISP 专用压缩，统一原理主线是：

以固定大小块为基本单元，块与块完全独立
使用轻量空间预测（DPCM）缩小残差范围
按块统计动态范围，自适应分配最小可表示位宽
采用 Base + 残差结构实现无损 / 近无损编码
使用 BitPack 做比特级紧凑存储
通过块地址表实现坐标到块的随机寻址
运动 / 纹理块可选择性 Bypass，保证画质稳定
全流水线、固定延迟、硬件友好、带宽可预测

这套架构是车载、安防、无人机、运动相机 等高端 ISP 产品中3DNR/WDR/ 帧融合 模块的标准配套技术。