ISP 成像核心知识点整理

1. 曝光三要素:快门、光圈、ISO/Gain,及与 EV 的关联

曝光三角包含快门(Shutter)、光圈(Aperture)、增益 ISO/Gain,三者共同决定画面整体曝光亮度,但各自存在不可避免的副作用:

  1. 快门 Shutter:控制传感器感光时长,快门越慢进光越多、画面越亮;短板是慢速快门会产生运动拖影,同时暗电流累积,暗部噪声显著上升;高速快门可定格运动物体,但会降低进光量。
  2. 光圈 Aperture:控制镜头通光孔径,F 值越小光圈越大、进光量越高;独有特性是控制景深,大光圈浅景深虚化背景,小光圈远近画面全部清晰;极限大小光圈会分别带来色散、衍射锐度衰减问题。
  3. ISO/Gain 增益:不改变物理进光量,通过放大像素电信号提亮画面,对应 ISP 管线 FE 的 DG、ME 集成 ADG 模块;副作用为同步放大光子噪声、读出噪声,高增益画面颗粒感明显。

EV 曝光值关联逻辑

EV 是统一衡量曝光总量的标尺,EV 每增减 1 档,画面亮度翻倍 / 减半。 三者任意参数调整 1 档 EV,其余两项需反向补偿才能维持画面亮度不变:例如开大光圈 + 1EV,需加快快门或降低增益 - 1EV 抵消亮度变化。

2. HDR 处理域与色带 Banding 成因

  1. HDR 多曝光融合运算在 RAW 拜耳域完成(ISP ME 前段),在线性光空间压缩超大动态范围,避免非线性空间融合带来色偏。
  2. Banding 即色彩断层、色带:本质是图像亮度分级台阶数量不足。位深越低、亮度映射台阶越少,渐变区域(天空、墙面、肤色)越容易出现分层色块;4bit / 低 bit 画面断层肉眼极其明显,8bit 是人眼可接受的商用最低标准。

3. AWB 自动白平衡底层逻辑

  1. 产生偏色根源:不同色温光源光谱分布不同,白纸等中性物体在传感器 RAW 数据中 R/G/B 数值不相等,画面整体蒙上环境色偏。
  2. 校正实现逻辑:算法识别画面中性参考(白纸 / 灰块),计算一组全局 R/G/B 三分通道 WBG 增益,将中性区域 RAW 数值修正至 R=G=B;整套固定增益全局作用于图像全部 RAW 像素,仅抵消光源整体偏色,保留物体本身固有色彩。
  3. 生效位置:ISP FE RAW 线性阶段,DMC 去马赛克之前。

4. 饱和度量化直观理解

饱和度代表色彩浓淡纯净度,数值大小由 RGB 三通道差值决定:

  1. R、G、B 三者差值越大,色彩越鲜艳、饱和度越高;
  2. 若 R=G=B,无任何彩色信息,饱和度等于 0,画面呈现纯黑白灰。 RGB 域无独立饱和度通道,YUV 域 UV 色度通道幅值直接控制饱和度,调整 UV 不影响亮度 Y。

5. 灰度图本质

灰度图不携带色度信息,仅统计、存储所有像素的单一亮度信息,每一个像素只保留明暗数值,等价于 RGB 加权合成的 Y 亮度分量。

6. Gamma 校正区分与工程实现

场景区分(纠正认知误区)

  1. ISP 相机编码 Gamma(非 de-gamma):线性 RAW→线性 RGB 后,做V^(1/γ)映射(γ=2.2 标准 sRGB),作用是拉伸暗部码值、压缩亮部,适配人眼非线性感知;
  2. 显示器端解码 Gamma:对存储的非线性图像做V^γ逆变换,抵消相机编码曲线,还原线性亮度; de-gamma 仅指显示器解码反向操作,ISP 成像链路不存在 de-gamma。

工程落地

Gamma 变换依靠预计算 256/1024 阶 LUT 查找表实现,R/G/B 三通道独立曲线,逐像素查表完成映射,算力开销极低;核心作用是给人眼敏感的暗部分配更多量化台阶,减少暗部断层。

7. GTM 全局色调映射核心作用

  1. 核心目标:将传感器捕获的超高动态范围(高 DR)线性图像,压缩适配屏幕、编码介质的低动态范围(低 DR);
  2. 数据取舍逻辑:高比特线性 RAW 中,大量高光区间码值是人眼无法分辨的冗余信息,GTM 曲线会压缩高光区间数值,牺牲冗余亮度层级,把有限量化台阶分配给视觉有效的暗部、中间调;
  3. 关键约束:全程对 R/G/B 三通道同步等比例映射,RGB 相对比值不变,色相、饱和度不会失真;仅压缩明暗动态,不破坏色彩信息。

补充区分 GTM 与 LTM

GTM 是全局统一单条映射曲线,整张图像共用一套明暗映射规则;ISP 内置 LTM 局部色调映射是 GTM 升级方案,图像分块自适应调整明暗,解决逆光场景全局曲线顾此失彼的缺陷。