文章目录
- 引言
- [1. ISP 在成像系统中的位置](#1. ISP 在成像系统中的位置)
- [2. ISP Pipeline 完整流程](#2. ISP Pipeline 完整流程)
-
- [2.1 Raw 域处理(Bayer 域)](#2.1 Raw 域处理(Bayer 域))
- [2.2 RGB线性域处理](#2.2 RGB线性域处理)
- [2.3 RGB非线性域处理](#2.3 RGB非线性域处理)
- [2.4 YUV域处理](#2.4 YUV域处理)
- [3. 各模块详解详解](#3. 各模块详解详解)
-
- [3.1 Test Pattern测试图像图像](#3.1 Test Pattern测试图像图像)
- [3.2 DPC坏点校正](#3.2 DPC坏点校正)
- [3.BLC 黑电平校正校正](#3.BLC 黑电平校正校正)
- [3.4 LSC镜头阴影校正](#3.4 LSC镜头阴影校正)
- [3.5 AWB自动白平衡平衡](#3.5 AWB自动白平衡平衡)
- [3.6 降噪(BNR+Denoise)](#3.6 降噪(BNR+Denoise))
- [3.7 Demosaic去马赛克(颜色插值）](#3.7 Demosaic去马赛克(颜色插值）)
- [3.8 CCM色彩校正矩阵校正矩阵](#3.8 CCM色彩校正矩阵校正矩阵)
- [3.9 Gamma校正伽马校正](#3.9 Gamma校正伽马校正)
- [3.10 WDR宽动态范围](#3.10 WDR宽动态范围)
- [3.11 Flicker工频干扰](#3.11 Flicker工频干扰)
- [3.12 CAC色差校正](#3.12 CAC色差校正)
- [3.13 LDC镜头畸变校正](#3.13 LDC镜头畸变校正)
- [3.14 Sharpen锐化](#3.14 Sharpen锐化)
- [3.15 CSC 色彩空间转换](#3.15 CSC 色彩空间转换)
- [3.16 YUV色彩空间转换](#3.16 YUV色彩空间转换)
- [4. ISP在实际工作中的应用](#4. ISP在实际工作中的应用)
-
- [4.1 手机摄影](#4.1 手机摄影)
- [4.2 工业视觉](#4.2 工业视觉)
- [4.3 自动驾驶](#4.3 自动驾驶)
- [4.4 医疗影像](#4.4 医疗影像)
- [5. ISP调参的核心矛盾](#5. ISP调参的核心矛盾)
- 6.总结
引言
你有没有想过，为什么手机拍出来的照片和人眼看到的几乎一样？为什么在强光、暗光、混合光源下，相机都能"猜"对颜色？
答案就藏在一个叫 ISP Pipeline 的东西里。
ISP(图像信号处理)是相机成像系统的核心引擎。传感器(Sensor)捕获的原始数据只是一堆"数字"，没有颜色、没有白平衡、甚至有很多噪点 。
ISP的工作，就是把这些"数字"变成我们看到的那张色彩准确、细节清晰的照片。
1. ISP 在成像系统中的位置
ISP处于整个成像系统的中心地位 。它向上连接传感器，向下对接显示/存储/算法，是"翻译官 "也是"美颜师"。
传感器输出的是Raw 格式数据------它只有亮度信息，没有颜色，就像一张"黑白马赛克"。ISP需要完成从Raw到RGB/YUV的完整转换，同时修复各种光学和电子缺陷。
💡一句话理解ISP ：传感器负责"看见 "，ISP 负责"看对"------把传感器看到的"数字"翻译成人眼能理解的"图像"。
2. ISP Pipeline 完整流程
ISP Pipeline就像一条"图像处理流水线""，每个模块负责解决一个特定问题。按照处理域的不同，可以分为四个阶段：
2.1 Raw 域处理(Bayer 域)
从Sensor输出的 Bayer 数据，要经过六道关键工序才能"洗干净 ""
数据流向：Raw Bayer → 预处理 → 色彩校正 → 动态增强
2.2 RGB线性域处理
数据流向Bayer RAW → 色彩插值 → 色彩校准 → 动态压缩 → 线性RGB
2.3 RGB非线性域处理
🟠 RGB非线性域处理： 此阶段的核Gamma(伽马)校正。它将传感器输出的线性亮度数据，转换为人眼感知的非线性亮度曲线，从而在有限的显示或存储位深下，更有效地利用数据范围，并让图像看起来更自然、符合人眼视觉习惯。
2.4 YUV域处理
从RGB到最终输出，画质打磨的最后一关。
数据流向：线性RGB →色彩空间转换 →降噪 → 锐化 → 分辨率调整→YUV输出输出
3. 各模块详解详解
3.1 Test Pattern测试图像图像
在正式处理图像之ISP需要先验证自己的"流水线"是否正常工作。Test Pattern 就是相机自己生成的测试图像图像------不经过镜头和传感器 ，直接由硬件产生。
测试图像 1 ：由固定的对角灰色渐变组成，范围从0到255，最适合将相机配置为单色 8 位输出 的情况。
测试图像 2 ：包括移动的对角灰色渐变，范围从0到255。触发新图像采集时，图像向左移动一个像素。
测试图像3 ：包括移动的对角灰色渐变，范围从0到4095。触发新图像采集时，图像向左移动一个像素。最适合将相机配置为单色12位输出 的情况。
彩色条纹：由移动的对角颜色渐变组成。仅在彩色相机上可用。
常见测试图案：
- 全黑/全白：验证像素值范围是否正确
- 彩色条纹：验证颜色通道是否正常
- 渐变灰阶：验证Gamma校正效果
- 棋盘格：验证像素对齐和同步
解决什么问题： 产线测试、故障诊断、后续模块验证。在相机出厂前，用测试图像快速定位是传感器问题还是ISP问题。
3.2 DPC坏点校正
传感器上有数百万个感光单元，制造过程中难免有一些"坏点"------要么永远是黑的(死点)，要么永远是亮的(亮点)。这些坏点在照表现为 刺眼的黑点或亮点。
3.BLC 黑电平校正校正
理想情况下，全黑环境中传感器输出应该全是0。但实际上，由于暗电流的存在，即使没有光线进入，传感器也会输出一个非零值这就是"黑电平"。
关键点：BLC是ISP pipeline的第一个处理步骤步骤，后续所有模块都依赖BLC的准确如果BLC 不准，白平衡、降噪、色彩校正都会出问题。
3.4 LSC镜头阴影校正
你有没有注意到，用手机拍一张纯白的墙，照片中间亮、四周暗？这就是镜头阴影 (Lens Shading) ，也叫"暗角"。
3.5 AWB自动白平衡平衡
人眼有一个神奇的能力------不管在日光灯、钨丝灯还是阴天，白色的东西看起来都是白色但相机不行，不同光源下白色会"变色"：钨丝灯下偏黄，阴天偏蓝。
实际工作场景 ：手机拍照时切换"日光/阴天/白炽灯"模式，本质就是在调整白平衡参数。工业视觉中，AWB不准会导致颜色检测(如分拣、缺陷识别)失败。
3.6 降噪(BNR+Denoise)
图像噪声是ISP必须处理的核心问题。噪声来源很多：传感器热噪声、暗电流噪声、读出噪声、量化噪声......尤其在暗光环境下，噪声会非常严重。
💡 为什么BNR不能太强 ？
① 去噪过强，Demosaic后细节损失严重
② 后续RGB域的对比度、锐度增强会放大噪声，需要RgbNR兜底
常见降噪算法
3.7 Demosaic去马赛克(颜色插值）
传感器前面覆盖了一层Bayer滤镜(RGB排列)，每个像素只能感应一种颜色(R、G或B)。Demosaic 的工作就是把这种"马赛克"还原成完整的RGB彩色图像。
3.8 CCM色彩校正矩阵校正矩阵
传感器对颜色的响应和人眼不一样------比如传感器可能把红色"看"得偏橙，把绿色"看"得偏黄。CCM 就是用一个3×3 矩阵来校正这种差异。
原理：通过拍摄标准色卡(如 24色卡)，标定矩阵系数，将传感器的RGB响应映射到标准色彩空间。
解决效果:让相机拍出来的颜色和人眼看到的一致。在工业视觉中，CCM直接影响颜色检测、分拣的准确性。
3.9 Gamma校正伽马校正
人眼对亮度的感知是非线性的------对暗部变化敏感，对亮部变化不敏感 。但传感器记录的是线性亮度值。Gamma 校正就是把线性数据转换为符合人眼感知的非线性曲线。
原理：γ< 1提亮暗部，γ> 1压暗暗部。 压暗暗部。人眼本身就是按照γ< 1的曲线处理图像的。
3.10 WDR宽动态范围
想象一个场景：室内看窗外。人眼能同时看清室内的暗处和窗外的亮处，但普通相机要么室内全黑，要么窗外全白------这就是动态范围不足 。
手机拍照的"夜景模式"本质就是WDR+多帧降噪。工业视觉中，WDR技术可以同时检测高反光和阴影区域的缺陷。
3.11 Flicker工频干扰
在日光灯下拍照，有时会看到**明暗相间的条纹**，而且在预览时会滚动------这就是 Flicker(工频闪烁)。
问题原因： 日光灯以50Hz/60Hz的频率闪烁，如果相机快门频率和灯光频率不同步，就会捕捉到亮暗交替的条纹。
解决方案： Anti-Flicker功能------让相机快门频率与当地电网频率同步。
3.12 CAC色差校正
不同波长的光通过镜头时折射率不同，导致R、G、B三个通道的焦点不重合 表现为物体边缘出现彩色"毛边"。
解决方案：检测边缘处的色彩偏移，对R/B通道进行微调对齐。在工业视觉中，色差会导致边缘检测精度下降。
3.13 LDC镜头畸变校正
径向畸变 ：光线在透镜中心比边缘更弯曲，短焦镜头更明显
切向畸变 ：透镜与传感器平面不平行，通常是安装偏差导致(下一篇专题讲解)
解决方案：建立畸变模型(多项式)，对每个像素进行坐标映射校正。在工业视觉中，畸变校正是精确测量的前提。
3.14 Sharpen锐化
图像在采集和处理过程中会损失锐度------镜头的光学衍射、传感器的低通滤波、降噪的平滑操作，都会让图像变"软 "。锐化就是弥补这些损失。
原理： 图像的细节和边缘在频域中是高频分量。锐化的本质是增强高频分量------检测边缘，对边缘两侧的像素值进行"拉伸"。
注意：锐化和降噪是"跷跷板"关系------降噪消除噪点(高频)，锐化增强细节(也是高频)。过度锐化会放大噪声，产生"振铃"伪影。
3.15 CSC 色彩空间转换
不同色域标准下，RGB→YUV的转换矩阵不同：
- BT.601：标清电视(SDTV)
- BT.709：高清电视(HDTV)，最常用
- BT.2020：超高清电视(UHDTV)，色域最广
色域表示显示设备能够显示的颜色范围，下图中马蹄形区域为人眼能看到的色彩区域
3.16 YUV色彩空间转换
ISP最终输出通常不是 RGB，而是YUV ------Y 表示亮度，U/V 表示色度。这样做的好处是：人眼对亮度比色度更敏感 ，可以对UV 进行下采样，减少数据量。
常见YUV采样格式：
- YUV444： 完全采样，无损失，数据量最大
- YUV422： 2个Y共享1个UV，数据量减少1/3
- YUV420： 4个Y共享1个UV，数据量减少1/2，最常用
4. ISP在实际工作中的应用
4.1 手机摄影
- 多帧HDR+ AI降噪 → 夜景模式
- AWB+CCM → 准确的色彩还原
- Sharpen+Denoise平衡→ 清晰不模糊
- Anti-Flicker→ 日光灯下无条纹
4.2 工业视觉
- DPC+BLC→ 消除传感器缺陷，避免误检
- LSC→ 边缘区域检测精度不下降
- CCM+AWB→ 颜色分拣准确率 > 99%
- WDR→ 同时检测高反光和阴影区域
- LDC→ 精确测量的前提
4.3 自动驾驶
- WDR→ 逆光场景看清行人
- 3DNR→ 夜间低延迟降噪
- Anti-Flicker → 隧道灯光无闪烁
- LDC→ 车道线检测不畸变
4.4 医疗影像
- CCM→ 内窥镜组织颜色准确
- Gamma→ X光片对比度优化
- Denoise→ 低剂量CT降噪
5. ISP调参的核心矛盾
ISP调试中，有几个永恒的矛盾需要平衡：
⚖️ 矛盾一：降噪 vs 细节 --- 降噪越强，画面越干净，但细节损失越多。
⚖️ 矛盾二：锐化 vs 噪声 --- 锐化增强细节的同时也会增强噪声。
⚖️ 矛盾三：动态范围 vs 自然感 --- HDR可以同时看清亮暗区域，但过度处理会让图像看起来"不真实"。
⚖️ 矛盾四：色彩饱和度 vs 准确性 --- 提高饱和度让照片更"好看"，但过度饱和会导致颜色失真。
6.总结
ISP Pipeline 是相机成像的"灵魂"。从传感器输出的"数字"到我们看到的"图像"，每一步都在解决一个具体的问题：
理解了这些模块的原理和作用，无论是做手机摄影调参、工业视觉调试，还是自动驾驶感知优化，都能做到心中有数、有的放矢。
最后的建议：ISP调参没有"万能参数"，每个场景都需要根据实际需求在各组矛盾中找到最佳平衡点。理解原理，才能调出好图。