1、车载摄像头的ISP
车载摄像头中的图像信号处理器（ISP）是其核心组成部分之一，负责对图像传感器输出的原始数据进行处理，以生成高质量、可被人类或自动驾驶系统识别的图像。ISP 的主要功能包括去除噪点、自动曝光、自动白平衡、自动聚焦等，从而提升图像质量并减少数据量，使其更易于传输和处理。在车载摄像头系统中，ISP 的作用至关重要，因为它直接影响到驾驶员或自动驾驶系统的感知能力。
图1 IPS在系统链路中的位置
2、ISP工作流
ISP 的工作流程通常包括以下几个步骤：首先，镜头捕捉光线并将其转换为电信号，这些信号由图像传感器（CMOS）接收并转换为 RAW 格式的数据。随后，ISP 对这些数据进行处理，包括缩放、去噪、色彩校正、动态范围调整等操作，最终生成 RGB 或 YUV 等标准格式的图像。处理后的图像数据通过串行器（Serializer）转换为符合 GMSL 等标准的串行数据，以便高效传输到车载系统的其他部分，如中央处理器或域控制器
图2 ISP Pipeline
图3 ISP Pipeline
相机系统中的图像信号处理器（ISP）将图像传感器捕捉到的RAW图像处理成最终图像。为了获得最佳图像质量，必须针对不同的光照条件和场景，迭代配置图像信号处理器（ISP）参数。由于需要优化的ISP参数数量众多，调优过程可能需要数周甚至数月的时间。
3、ISP算法简介
使用"拜耳转换"来获得彩色图像：拜耳滤色镜，或称彩色滤光片阵列（CFA），起到显示器的作用，允许特定颜色的光子进入传感器上的每个像素。这些传感器在每个光敏点捕捉红、绿、蓝三种颜色。只有蓝色光子才能穿过蓝色滤光片，同样，只有红色和绿色光子才能穿过红色和绿色滤光片。然后，通过一种称为"去马赛克"的技术，将这些感光点的值智能地合并以创建全彩色像素，并进一步使用ISP（图像信号处理）流水线方法进行处理，以获得高质量图像。
成像算法是一套为各种用例开发的定制算法，用于在各种条件下实时增强图像；例如：
-
3A算法（自动白平衡、自动对焦、自动曝光）
-
低光增强
-
高动态范围（HDR）算法
-
软件图像处理流水线
-
立体相机视觉算法
-
用于散景和重聚焦应用的阵列相机软件处理流程
-
ToF相机传感器的深度图生成
-
空间和时间噪声去除
-
基于多帧和单帧的超分辨率
-
电子图像稳定（EIS）
一组3A算法（自动曝光、自动平衡和自动对焦）控制着相机的曝光、白平衡和对焦。
图4 Example of Untuned vs tuned Auto White Balance (AWB) (Source: PathPartner)
**自动曝光（AE）**是ISP的核心功能之一，其主要目的是根据场景的光线条件自动调整图像传感器的曝光参数，以确保图像亮度适中，避免过曝或欠曝。AE的实现依赖于ISP对图像亮度的实时分析，并通过控制光圈、快门速度和传感器增益来调整曝光量。
- 工作原理：ISP通过内置的测光系统（Exposure Meter）获取图像的亮度信息，并根据这些信息计算出最佳的曝光设置。例如，在强光环境下，ISP会减少曝光时间或降低传感器增益；而在弱光环境下，则会增加曝光时间或提高增益。
**自动白平衡（AWB）**是ISP的另一项关键功能，其作用是消除不同光源对图像颜色的影响，使图像中的白色物体在各种光照条件下都呈现真实的白色。AWB的核心在于模拟人类视觉系统的颜色恒常性，从而在不同色温下保持色彩的准确性。
- 工作原理：ISP通过分析图像中的颜色分布，特别是白色区域的RGB值，来估计当前光源的色温，并据此调整RGB增益，使图像中的白色物体在不同光源下都呈现为白色。例如，在日光下，色温约为5000K，而在钨丝灯下，色温较低，约为2700K，因此需要不同的白平衡调整。
**自动对焦（AF）**是ISP实现图像清晰度的重要手段。AF通过实时分析图像的对比度或边缘信息，找到最清晰的聚焦位置，从而确保图像主体清晰可见。
- 工作原理：AF通常采用对比度检测方式，即在图像中寻找对比度最高的区域作为聚焦点。一些高端ISP还支持相位检测（Phase Detection）或深度学习算法，以实现更快、更精准的对焦。
低光增强------在极低光照条件下提升图像质量：
-
自动色彩增强
-
传感器独立实现
-
支持Bayer和YUV两种格式
-
无细节损失的二维降噪
图5 Without low light enhancement (L) and with low light enhancement (R) ((Source: PathPartner)
**高动态范围（HDR）**图像/视频------解决低成本相机常见的动态范围问题。它提升了像素质量，使观众能够看到更逼真的图像/视频。
-
图像配准和去重影算法
-
通过访问相机驱动程序和HAL，可轻松移植到定制硬件解决方案中
-
高效的多曝光图像融合方法，能够保留每幅图像中的最佳信息
图5 Representing a large luminance variation from dark values to bright values.
**坏点校正（Dead Pixel Correction, DPC）**是一种用于修复图像传感器中失效或损坏像素的技术，以确保图像质量。坏点通常表现为图像中的黑色、白色或固定颜色的像素，可能由于传感器制造缺陷或长期使用导致。DPC通过检测这些异常像素并用周围正常像素的值进行插值或补偿，消除图像中的瑕疵，保证图像的整体质量和细节表现
**黑电平校正（Black Level Correction, BLC）**是图像信号处理（ISP）中的一项关键步骤，用于消除图像传感器在无光照条件下输出的非零亮度值，从而确保图像在进入后续处理模块（如自动白平衡、色彩校正等）之前具有正确的基线电平。BLC不仅影响图像的暗部细节保留，还对整体色彩平衡和图像质量有重要影响。
黑电平的成因与作用
黑电平的产生主要源于两个因素：一是传感器电路中的暗电流（dark current），这是由于光电二极管在无光照条件下仍会产生微弱电流，导致输出电平不为零；二是A/D转换器的精度限制，无法将非常小的电压值转换为数字信号，从而导致暗部细节丢失。为了保留暗部细节，传感器通常会在输出信号中添加一个固定的偏移量，使得在全黑条件下，输出像素值不会为0
ISP（Image Signal Processor）中的**Lens Shading Correction（LSC）**是一种用于校正图像亮度和色彩不均匀性的关键技术。它通过调整图像中不同区域的亮度和颜色增益，使图像在中心和边缘区域的亮度和颜色保持一致，从而提升图像质量。以下是关于ISP中Lens Shading Correction的详细解释：
Lens Shading 是由于镜头的光学特性导致的图像亮度或色彩不均匀现象。具体来说：
-
Luma Shading：图像中心到边缘的亮度逐渐降低，这是由于镜头对光线的折射不均匀造成的。
-
Color Shading：不同颜色的波长不同，经过镜头折射后，不同颜色的光线在图像中分布不均，导致中心和边缘的颜色差异。
**固定模式噪声（Fixed Pattern Noise, FPN）**是图像传感器中常见的问题，尤其在CMOS图像传感器中更为显著。FPN主要由传感器制造过程中的工艺偏差导致，例如像素间光电二极管的尺寸、掺杂浓度、MOS场效应管参数等的不一致，这些因素会导致像素输出信号的变化，从而产生固定位置的噪声。这种噪声在图像中表现为固定位置的亮点或暗点，严重影响图像质量。
为了消除FPN，图像信号处理器（ISP）通常采用多种校正方法。一种常见的方法是基于暗电流的校正方法。该方法利用暗电流与积分时间成线性关系的特点，通过采集不同积分时间下的本底图像，并计算像元校正系数矩阵，从而消除由读出放大器引入的偏置噪声。
小结：ISP算法还有很多，不一一举例，其主要去向是中控大屏直接给驾驶员观察，或者去自动驾驶域，进入自动驾驶算法模块中。