第2章：CMOS图像传感器原理与技术

1. 本章先解决"传感器到底测到了什么"

初学 ISP 时，很多人会把 RAW 当成"相机还没处理的照片"。这会导致后面所有理解都偏掉。更准确的说法是：

text 复制代码

CMOS 图像传感器输出的 RAW = 每个像素对光照的带噪声、带偏移、带颜色采样限制的数字测量值

也就是说，RAW 首先是测量，不是图像表达。传感器并不知道"天空""人脸""白墙"，它只是在某段曝光时间内，把落到像素上的光子转换成电荷，再把电荷读出来并量化成数字。这个过程中会发生很多不完美：

没有光也会有暗电流和黑电平。
光子到达本身是随机的，所以亮度也有 photon shot noise。
每个像素和每一列读出电路不可能完全一致，所以会有固定模式噪声。
像素能存的电子数有上限，所以高光会饱和。
读出不是所有行同时完成时，运动物体会发生 rolling shutter 形变。

这一章的核心目的，就是让你知道 ISP 前端为什么要做黑电平校正、坏点修复、固定模式噪声校正、暗电流补偿、线性化和增益/曝光相关调参。它们不是"画质玄学"，而是传感器物理测量带来的必然后果。

2. 用"水桶模型"理解像素

可以把每个像素想成一个很小的水桶：

text 复制代码

光子 = 雨滴
光电二极管 = 接雨水的桶
曝光时间 = 接雨水的时间
电子数 = 桶里收集到的水量
满阱容量 = 桶最多能装多少水
读出噪声 = 读刻度时手抖
暗电流 = 没下雨也漏进桶里的水
ADC = 把水量读成数字刻度

这个比喻能帮你理解几个关键点：

曝光时间越长，桶接到的光子越多，但暗电流也会积累更多。
桶满了以后再来光也装不下，这就是饱和。
小桶更容易满，高光动态范围可能更差；但小像素可以做更高分辨率。
读刻度本身有误差，所以暗部信号很容易被读噪淹没。
即使两个桶接到同样的光，也可能因为制造差异读出不同值，这就是不均匀性。

这个模型很朴素，但足够支撑你理解 EMVA 1288、Photon Transfer Curve、SNR、dynamic range 和 full well capacity。

3. CMOS 像素从光到数字的完整流程

一个简化的 CMOS 像素读出流程可以写成：

text 复制代码

入射光子
  -> 硅中产生电子-空穴对
  -> 光电二极管收集电子
  -> 曝光时间内电荷积分
  -> 电荷转移到浮动扩散节点
  -> 源跟随器/列电路读出电压
  -> 模拟增益/PGA
  -> ADC 量化
  -> 输出 RAW code value

这里每一步都可能引入 ISP 后面要处理的问题。

流程位置	发生什么	可能带来的问题	后续 ISP/标定如何应对
光子入射	光子数量随机到达	photon shot noise	降噪、多帧融合、曝光控制
光电转换	光子转成电子	量子效率差异、波长响应差异	色彩校正、传感器选型
积分曝光	电荷累积	暗电流、饱和、溢出	暗场标定、HDR、AE
像素读出	电荷转电压	reset noise、source follower noise	CDS、读噪建模
列读出	列电路放大	column FPN、banding	列校正、FPN correction
ADC	电压量化	量化噪声、非线性、黑电平偏移	linearization、BLC
数字输出	RAW code	bit depth、black/white level	RAW metadata、前端校正

初学者要记住：RAW 里的数字值不是纯粹的"亮度"。它是光信号、噪声、偏移、增益和量化共同作用的结果。

4. 关键术语逐个拆开

4.1 光电二极管 Photodiode

光电二极管是像素里负责收集光生电子的区域。光子进入硅材料后，如果能量足够，就可能产生电子-空穴对。电子被收集起来，形成和光照相关的信号。

初学者理解即可：

光越强，产生的电子越多。
曝光时间越长，累积电子越多。
不同波长的光在硅中吸收深度不同，所以传感器结构会影响不同颜色响应。

4.2 Pinned Photodiode，PPD

现代 CMOS 图像传感器常用 PPD。它的重要意义是降低暗电流、改善电荷转移，并支持更低噪声读出。你不需要第一遍就会画器件能带图，但要知道：

PPD 是现代低噪声 CMOS 像素的重要基础。
它和 4T 像素结构、相关双采样 CDS 一起，显著改善了图像传感器噪声表现。

4.3 满阱容量 Full Well Capacity

满阱容量是一个像素最多能容纳多少电子。它决定高光什么时候饱和。

text 复制代码

full well capacity 越大
  -> 高光越不容易饱和
  -> 最大 SNR 可能更高
  -> 动态范围上限更好

但更大的满阱通常需要更大的像素或更复杂结构，这会和分辨率、成本、读出速度产生冲突。

4.4 Black Level

Black level 是"没有有效光照时传感器输出的数字基线"。它不是错误，而是传感器读出链路的一部分。ISP 必须先知道黑电平在哪里，才能正确解释暗部。

如果 black level 处理错：

减少了：暗部发灰，颜色偏。
减多了：暗部被截断，细节没了。

4.5 White Level

White level 是 RAW 数值接近饱和的上限。它通常不是简单的 2^bit_depth - 1，因为传感器和相机厂商会保留黑电平、头部空间或采用压缩编码。

初学者要养成习惯：不要假设 12-bit RAW 的白点一定是 4095，应该看 metadata 或标定资料。

4.6 Quantum Efficiency，QE

量子效率表示入射光子中有多少比例最终转成可收集电子。它受像素结构、微透镜、背照式结构、波长和工艺影响。

直觉上：

text 复制代码

QE 高 -> 同样光照下收集到更多电子 -> 信号更强 -> 暗部更有利

4.7 Conversion Gain

conversion gain 描述电子数到电压或数字码值的转换比例。高 conversion gain 有利于读出小信号，但可能牺牲满阱或高光范围。很多现代传感器会用 dual conversion gain 在暗部和亮部之间折中。

4.8 Dynamic Range

动态范围可以直觉理解为：

text 复制代码

从刚能分辨暗部信号，到高光刚饱和之间，传感器能覆盖的亮度范围

常见近似：

text 复制代码

Dynamic Range ≈ full well capacity / noise floor

用 dB 表示时：

text 复制代码

DR(dB) = 20 * log10(max_signal / min_detectable_signal)

所以动态范围不是只由 bit depth 决定。14-bit ADC 不等于 14-bit 有效动态范围，如果噪声很大，低位可能只是噪声。

5. 噪声：初学者最容易混淆的部分

CMOS 传感器噪声可以先分成两大类：

text 复制代码

随机噪声：每一帧都随机变化
固定模式噪声：位置固定，看起来像固定纹理、条纹或坏点

5.1 Photon Shot Noise

光子到达像素是随机事件。即使场景亮度完全不变，每次曝光收集到的光子数也会波动。这种噪声满足近似泊松统计：

text 复制代码

如果平均收集 N 个电子
shot noise 的标准差约为 sqrt(N)
SNR 约为 N / sqrt(N) = sqrt(N)

这带来一个重要结论：

text 复制代码

光越多，绝对噪声越大，但相对噪声越小

所以亮部看起来更干净，暗部更脏。

5.2 Read Noise

读噪来自像素和读出电路，比如 reset noise、source follower noise、列放大器和 ADC。它和光照强弱不一定成比例，因此在暗部尤其明显。

暗部为什么难？因为真实信号很小，read noise 可能和信号同量级，甚至比信号还大。

5.3 Dark Current 和 Dark Current Shot Noise

暗电流是没有光时，由热激发等原因产生的电子。它随温度和曝光时间增加而变明显。

要区分两件事：

暗电流的平均模式可以通过 dark frame 估计和扣除。
暗电流本身也有 shot noise，这部分扣不掉，只能降低温度、缩短曝光或降噪。

这就是为什么长曝光、热环境、低照场景特别容易出现噪声和热像素。

5.4 Fixed Pattern Noise，FPN

FPN 是空间位置固定的不均匀性。它可能来自像素偏移、列电路差异、行电路差异、暗电流差异或响应增益差异。

初学时可以分成：

类型	中文理解	常见观察方式	校正思路
DSNU	暗信号不均匀	拍 dark frame	offset / dark correction
PRNU	光响应不均匀	拍均匀平场	gain map / flat field correction
Column FPN	列固定偏差	暗场或平场看竖条纹	per-column offset/gain
Row FPN	行固定偏差	看横条纹	per-row correction
Defect pixel	单点异常	亮点/暗点/闪点	bad pixel map / dynamic detection

注意：FPN 不等于所有噪声。FPN 的特点是位置固定，所以可以标定；随机噪声位置不固定，只能统计抑制。

5.5 Quantization Noise

ADC 把连续电压变成离散数字，会引入量化误差。如果 ADC bit depth 太低，细微亮度变化会被粗糙分档。实际系统中，量化噪声要和读噪、shot noise 一起看；如果传感器噪声已经大于 1 LSB，继续提高 ADC bit depth 未必明显改善画质。

6. Photon Transfer Curve：为什么它是理解传感器的钥匙

Photon Transfer Curve，PTC，是图像传感器表征中的重要工具。它通过不同曝光下的均值和方差关系，帮助估计 conversion gain、read noise、full well capacity、SNR 和动态范围。

直觉流程：

对均匀光源拍多组不同曝光。
每个曝光拍两张或多张。
计算图像均值，代表平均信号。
计算帧间差异或方差，代表噪声。
观察方差随均值变化的曲线。

典型现象：

text 复制代码

暗部区域：读噪占主导
中间区域：shot noise 占主导，方差随信号近似线性增加
高光区域：接近 full well，开始饱和，曲线不再线性

EMVA 1288 标准把这些测量流程规范化，让不同传感器和相机可以更公平地比较。初学者不需要一开始完整实现 EMVA 1288，但要理解它的思想：传感器性能不是靠看一张照片猜，而是通过暗场、平场、曝光序列和统计量测出来。

7. SNR：为什么暗部更脏，亮部更干净

SNR 是信号和噪声的比例。一个简化模型可以写成：

text 复制代码

signal = N
noise ≈ sqrt(N + dark + read_noise^2)
SNR = signal / noise

如果只看 photon shot noise：

text 复制代码

N = 100 个电子 -> noise ≈ 10 -> SNR ≈ 10
N = 10000 个电子 -> noise ≈ 100 -> SNR ≈ 100

亮部的绝对噪声更大，但相对信号更小，所以看起来更干净。暗部信号小，read noise、dark current 和量化误差都更容易显出来。

这对 ISP 的启发是：

暗部降噪更重要，但也更容易抹掉细节。
提亮暗部会把噪声一起提上来。
HDR 和多帧融合本质上是在扩大可用信号范围或改善暗部 SNR。

8. Bit Depth 不等于真实动态范围

初学者常误以为：

text 复制代码

12-bit RAW = 4096 档 = 动态范围很大
14-bit RAW = 一定比 12-bit RAW 好很多

这不一定对。bit depth 只是 ADC 或数据格式能表达多少级，真实可用信息还受噪声和饱和限制。

举例：

text 复制代码

如果低 3 bit 基本都是噪声
那么 14-bit 文件里并不是 14 bit 都是有效画面信息

所以评价传感器不能只看 bit depth，要同时看：

full well capacity
read noise
dark current
dynamic range
SNR curve
linearity
black level stability

9. Rolling Shutter 与 Global Shutter

Rolling Shutter

rolling shutter 是逐行曝光或逐行读出。不同图像行对应的时间不同。

优点：

结构相对简单。
噪声、成本、功耗和像素面积通常更有优势。
手机和消费相机常见。

缺点：

快速运动会倾斜、弯曲。
闪烁光源下可能出现横向亮暗条纹。
多摄同步和高速机器视觉场景更麻烦。

Global Shutter

global shutter 是所有像素在同一时间窗口曝光，然后再读出。

优点：

运动形变小。
更适合工业、车载、机器人、高速视觉。

缺点：

像素结构更复杂。
可能牺牲噪声、满阱、面积或成本。

初学者要记住：rolling/global shutter 不是简单"谁更高级"。它们是不同应用下的 tradeoff。

10. CFA 与颜色：为什么传感器不是直接输出 RGB

大多数 CMOS 传感器每个像素前面有一个颜色滤光片，常见是 Bayer CFA：

text 复制代码

R G
G B

这样做的原因是单个像素本身通常只测光强，不能同时完整测 R/G/B 三个颜色。CFA 让不同像素分别测不同颜色，再由 ISP 通过 demosaic 重建完整 RGB。

这会带来几个后果：

RAW 图像是 mosaic pattern，不是三通道 RGB。
CFA pattern 识别错误会导致严重色偏。
去马赛克会引入伪色、锯齿和细节损失。
噪声、坏点和黑电平最好在 Bayer 域就处理好，否则会扩散到 RGB。

11. 传感器性能如何影响 ISP 设计

传感器不是 ISP 的上游黑盒，而是决定 ISP 策略的源头。

传感器特性	对 ISP 的影响
高 read noise	暗部降噪压力更大，AE 可能要避免欠曝
高 dark current	长曝光和高温场景需要暗场/温度补偿
明显 column FPN	前端需要列校正，否则后面会出现条纹
低 full well	高光容易饱和，需要 HDR 或保守曝光
rolling shutter 慢	运动/闪烁场景需要时序补偿或更快读出
PRNU 明显	需要平场校正或 lens shading/gain map
CFA 特殊	demosaic、AWB、CCM 都要适配

所以学 ISP 不能绕过传感器。很多"图像问题"的根源，不在后处理，而在传感器测量、读出或标定。

12. 最小可验证实验

实验 1：读 metadata，建立 RAW 身份档案

找一张 RAW/DNG 文件，记录：

width / height
CFA pattern
bit depth
black level
white level
ISO / analog gain
exposure time
camera model

然后回答：

哪些字段会影响 BLC？
哪些字段会影响 demosaic？
哪些字段会影响噪声？
哪些字段会影响饱和和动态范围？

实验 2：暗场图理解 black level 和 FPN

如果能拍摄，盖上镜头拍一张 dark frame。观察：

直方图峰值在哪里？
是否有亮点、暗点？
是否有横纹或竖纹？
提高曝光时间或 ISO 后，暗部统计如何变化？

结论应能区分：

black level：整体基线
hot pixel：局部坏点
column/row FPN：条纹结构
random noise：每帧随机变化

实验 3：平场图理解 PRNU 和 shading

拍一张均匀白墙、积分球或尽量均匀光源。观察：

中心和四角亮度是否一致？
R/G/B 通道是否有不同 shading？
同一亮度区域是否有固定纹理？

这能帮助理解 PRNU、lens shading 和后续 LSC 为什么需要标定。

实验 4：用两帧估计随机噪声

对同一静态均匀场景连续拍两张 RAW。用两张图相减：

text 复制代码

diff = frame1 - frame2

固定模式成分会被部分抵消，随机噪声会更明显。这个思想也是很多传感器噪声测量方法的基础。

13. 本章自测题

RAW 为什么不是照片？
black level 和 dark current 是一回事吗？
为什么暗部比亮部更容易显得脏？
full well capacity 和 dynamic range 有什么关系？
14-bit RAW 是否一定比 12-bit RAW 有更多有效信息？
FPN 和 random noise 的区别是什么？
DSNU 和 PRNU 分别应该用 dark frame 还是 flat field 观察？
rolling shutter 会造成哪些图像问题？
为什么 CFA pattern 错了会导致颜色错？
为什么传感器性能会影响 ISP 模块顺序和参数？

14. 常见误区

误区 1：ISO 越高，传感器越"敏感"。

ISO/增益通常放大读出信号，但不会凭空增加真实光子。它可能改善量化或读出链路表现，也可能更快推向饱和。
误区 2：暗场扣除能去掉所有暗部噪声。

暗场可以估计固定模式，但暗电流 shot noise 和读噪仍然随机存在。
误区 3：bit depth 就是动态范围。

bit depth 是表示精度，动态范围还取决于满阱容量和噪声底。
误区 4：FPN 就是坏点。

坏点只是 FPN/缺陷的一种表现。FPN 还可能是列、行、PRNU、DSNU 等结构。
误区 5：rolling shutter 只是视频问题。

静态照片里如果物体或相机运动很快，也会出现倾斜、弯曲、条纹或闪烁带。

15. 读完本章应该达到的标准

读完本章后，应该能做到：

用"水桶模型"解释像素曝光、饱和、读噪和暗电流。
说出 CMOS RAW 数值由哪些物理和电子因素组成。
区分 photon shot noise、read noise、dark current、FPN、PRNU、DSNU、quantization noise。
解释为什么动态范围不等于 ADC bit depth。
解释 rolling shutter 和 global shutter 的差异与应用取舍。
设计 dark frame、flat field、曝光序列这三类基础传感器观察实验。
说明传感器特性如何决定 ISP 前端校正策略。

16. 推荐资料与论文

EMVA 1288：图像传感器和相机表征标准，适合学习 SNR、dynamic range、dark current、saturation capacity、photon transfer 等指标。
https://www.emva.org/standards-technology/emva-1288/
EMVA 1288 Release 4.1 文档：适合深入了解标准化测量流程和参数定义。
https://www.ksp.kit.edu/chapters/2556/files/501464d0-18f1-4188-b5f1-85c9422c6826.pdf
"High-level numerical simulations of noise in CCD and CMOS photosensors: review and tutorial"：适合学习 CCD/CMOS 噪声建模框架，包括 PRNU、photon shot noise、dark current、FPN、read noise、quantization noise。
"Noise in a CMOS digital pixel sensor"：可用于理解低照时暗电流 shot noise、亮部 photon shot noise 等不同噪声主导区间。
"CMOS image sensors: state-of-the-art" 和 "Review of CMOS image sensors"：适合了解 CMOS 传感器从 CCD 竞争到主流技术的演进，以及噪声、功耗、速度、动态范围等问题。
Basler / Teledyne 关于 rolling shutter 与 global shutter 的工业资料：适合初学者理解两种快门的应用差异和图像伪影。
https://www.baslerweb.com/en-us/learning/cmos-rolling-shutter-cameras/
https://www.teledynevisionsolutions.com/learn/learning-center/imaging-fundamentals/rolling-vs-global-shutter/
"Uniformity Correction of CMOS Image Sensor Modules for Machine Vision Cameras"：适合学习 uniformity correction、FPN、暗电流温度依赖和机器视觉相机标定。

本章深入探讨CMOS图像传感器的工作原理和关键技术，从光电转换的物理基础到先进的片上信号处理架构。我们将详细分析像素结构的演进、噪声源及其抑制方法、动态范围扩展技术，以及传感器性能指标如何影响ISP设计决策。理解这些基础知识对于设计高性能ISP至关重要，特别是在自动驾驶和具身智能等对成像质量要求极高的应用场景中。

2.1 光电转换基础：光子到电子的物理过程

2.1.1 半导体光电效应

CMOS图像传感器的核心是硅基光电二极管，其工作原理基于内光电效应。当入射光子能量超过硅的禁带宽度（室温下约1.12eV）时，价带电子吸收光子能量跃迁到导带，产生电子-空穴对。

光子吸收概率与波长相关，由吸收系数α(λ)决定：

I(x) = I_0 \\cdot e\^{-\\alpha(\\lambda) \\cdot x}

其中， I 0 I_0 I0是入射光强， x x x是光在硅中的传播深度。不同波长的光在硅中的穿透深度差异很大：

蓝光（450nm）：约0.2μm
绿光（550nm）：约1μm
红光（650nm）：约3μm
近红外（850nm）：约10μm

2.1.2 光电二极管结构

现代CMOS传感器主要采用钉扎光电二极管（Pinned Photodiode, PPD）结构：

复制代码

     表面钝化层
    ============
     P+ 钉扎层     <- 抑制暗电流
    ------------
                   <- 耗尽区（光生载流子收集）
     N型存储区
    ------------
     P型衬底

PPD的关键优势：

低暗电流：表面钉扎层抑制Si-SiO2界面缺陷产生的暗电流
完全电荷转移：可实现接近100%的电荷转移效率
低噪声：支持相关双采样（CDS）消除复位噪声

2.1.3 光生载流子的收集机制

光生电子的收集效率取决于三个物理过程：

漂移：耗尽区内的强电场驱动 (J_{drift} = q \cdot n \cdot \mu_n \cdot E)
扩散：浓度梯度驱动的载流子运动 (J_{diff} = q \cdot D_n \cdot \frac{dn}{dx})
复合损失：体内复合和表面复合 (\tau_{eff} = \frac{1}{\frac{1}{\tau_{bulk}} + \frac{1}{\tau_{surface}}})

2.2 像素结构演进：3T、4T、共享像素设计

2.2.1 3T像素结构

早期CMOS传感器采用3T（三晶体管）结构，包含复位管(RST)、源跟随器(SF)和行选择管(RS)：

复制代码

    VDD
     |
    RST
     |
    PD -----> SF
              |
             RS
              |
            输出

3T像素的主要限制：

高复位噪声（kTC噪声） ： σ k T C = k T / C P D \sigma_{kTC} = \sqrt{kT/C_{PD}} σkTC=kT/CPD
不完全电荷转移：残留电荷导致图像延迟
填充因子受限：光电二极管面积占比低

2.2.2 4T像素结构革新

4T像素增加传输门(TG)，实现PPD与浮动扩散节点(FD)分离：

复制代码

    VDD
     |
    RST----FD
     |      |
    TG      SF
     |      |
    PPD    RS
            |
          输出

4T像素的技术优势：

相关双采样(CDS)：消除kTC噪声，提升低照性能
全局快门潜力：增加存储节点可实现全局快门
低暗电流：PPD结构显著降低暗电流
高转换增益：FD电容小，转换增益高

2.2.3 共享像素架构

为提高填充因子，多个光电二极管共享读出电路：

复制代码

    2x2共享结构         2x1共享结构

    PPD1--TG1           PPD1--TG1
          |                   |
    PPD2--TG2---FD       PPD2--TG2---FD
          |       |                   |
    PPD3--TG3    SF              共享SF/RS
          |       |
    PPD4--TG4    RS

共享架构的设计权衡：

填充因子提升：2x2共享可达80%以上
串扰风险：需要优化隔离设计
读出复杂度：时序控制更复杂

2.3 量子效率与光谱响应优化

2.3.1 量子效率定义与测量

量子效率(QE)定义为产生的电子数与入射光子数之比：

QE(\\lambda) = \\frac{N_{electrons}}{N_{photons}} = \\eta_{fill} \\cdot \\eta_{trans} \\cdot \\eta_{abs} \\cdot \\eta_{coll}

其中：

η f i l l \eta_{fill} ηfill：填充因子（光敏区占比）
η t r a n s \eta_{trans} ηtrans：光学堆栈透过率
η a b s \eta_{abs} ηabs：硅材料吸收率
η c o l l \eta_{coll} ηcoll：载流子收集效率

2.3.2 光学堆栈优化

现代CMOS传感器的光学堆栈设计：

复制代码

    微透镜 (聚光)
    ============
    彩色滤光片
    ------------
    抗反射涂层
    ------------
    钝化层/IMD
    ------------
    光电二极管

关键优化技术：

微透镜设计：非球面设计提高边缘像素集光
光导管结构：减少金属层遮挡
背照式(BSI)：消除金属层遮挡，QE提升至90%+
深槽隔离(DTI)：减少像素间串扰

2.3.3 光谱响应工程

通过材料和结构优化调节光谱响应：

红外增强：增加硅片厚度（标准3-5μm → 10μm+）
表面纹理化减少反射
量子点或有机光电材料增强
蓝光响应改善：浅结设计减少表面复合
抗反射涂层优化
表面钝化质量提升
NIR/SWIR扩展： Ge-on-Si或InGaAs集成
等离子体增强结构
光子晶体结构

2.4 片上ADC架构：列并行、像素级、全局ADC对比

2.4.1 列并行ADC架构

最常见的架构，每列配置一个ADC：

复制代码

    像素阵列
    ========
    列放大器
    --------
    列ADC阵列  <- 单斜坡/SAR/Σ-Δ
    --------
    数字处理

技术特点：

面积效率：ADC在列方向分摊，面积开销适中
速度权衡：帧率受ADC转换速度限制
功耗优化：可采用低功耗ADC设计

常用ADC类型比较：

ADC类型	转换速度	功耗	面积	精度
单斜坡	慢(2^N周期)	低	小	高(12-14bit)
SAR	中(N周期)	中	中	中(10-12bit)
Σ-Δ	慢	低	大	很高(14-16bit)
循环	中	中	小	中(10-12bit)

2.4.2 像素级ADC架构

每个像素集成ADC，实现真正的数字像素传感器：

复制代码

    像素内：
    PPD -> ADC -> 数字存储
           |
         数字输出

优势与挑战：

超高帧率：并行转换，可达10000+ fps
无模拟噪声：数字域传输和处理
面积挑战：像素尺寸受限（>10μm）
功耗密度：发热严重

2.4.3 全局ADC架构

整个阵列共享少数高速ADC：

复制代码

    像素阵列
       |
    模拟多路器
       |
    高速ADC (1-4个)
       |
    数字输出

适用场景：

小分辨率传感器
特殊应用（如TOF、事件相机）
成本敏感型设计

2.5 双转换增益技术

双转换增益(Dual Conversion Gain, DCG)通过动态调节浮动扩散节点电容实现自适应动态范围：

2.5.1 工作原理

复制代码

          RST
           |
    TG----FD----DCG----C_extra
     |     |            |
    PPD   SF          开关控制

两种工作模式：

高转换增益(HCG) ：DCG关闭， C F D C_{FD} CFD小转换增益： C G h i g h = q / C F D CG_{high} = q/C_{FD} CGhigh=q/CFD (典型值：150-200 μV/e-)
适用：低照场景，优先考虑噪声性能
低转换增益(LCG) ：DCG开启， C F D + C e x t r a C_{FD} + C_{extra} CFD+Cextra 转换增益： C G l o w = q / ( C F D + C e x t r a ) CG_{low} = q/(C_{FD} + C_{extra}) CGlow=q/(CFD+Cextra) (典型值：30-50 μV/e-)
适用：强光场景，扩展满阱容量

2.5.2 模式切换策略

智能切换算法考虑因素：

信号强度：根据预览帧亮度统计
场景类型：HDR场景自动启用
ISO设置：高ISO用HCG，低ISO用LCG
帧率要求：高帧率可能限制模式切换

2.5.3 ISP处理考虑

DCG对ISP设计的影响：

增益校准：两种模式需要独立校准
噪声模型：不同模式噪声特性差异大
HDR合成：可用于单帧HDR实现
切换伪影：需要平滑过渡算法

2.6 噪声源分析：暗电流、读出噪声、光子散粒噪声

2.6.1 噪声源分类与建模

CMOS传感器总噪声模型：

\\sigma_{total}\^2 = \\sigma_{photon}\^2 + \\sigma_{dark}\^2 + \\sigma_{read}\^2 + \\sigma_{FPN}\^2

各噪声源特性：

噪声类型	物理来源	统计特性	温度依赖	抑制方法
光子散粒噪声	光子到达随机性	泊松分布	无	无法消除
暗电流噪声	热激发载流子	泊松分布	强(7°C翻倍)	制冷、PPD
读出噪声	电路热噪声	高斯分布	弱	CDS、低噪声设计
固定模式噪声	工艺偏差	确定性	弱	校准消除

2.6.2 暗电流机制与抑制

暗电流主要来源：

扩散电流 ： J d i f f = q n i 2 ( D n N A L n + D p N D L p ) J_{diff} = qn_i^2(\frac{D_n}{N_AL_n} + \frac{D_p}{N_DL_p}) Jdiff=qni2(NALnDn+NDLpDp)
产生-复合电流 ： J g − r = q n i W 2 τ 0 J_{g-r} = \frac{qn_iW}{2\tau_0} Jg−r=2τ0qniW
表面产生电流 ： J s u r f = q S 0 N s u r f J_{surf} = qS_0N_{surf} Jsurf=qS0Nsurf

温度依赖关系：

(I_{dark}(T) = I_{dark}(T_0) \cdot 2^{(T-T_0)/T_d})

其中 T d ≈ 7 − 8 ° C T_d \approx 7-8°C Td≈7−8°C为翻倍温度。

抑制技术：

PPD结构：表面钝化降低界面态
制冷：车载传感器工作温度控制
暗帧减除：长曝光场景的暗电流补偿

2.6.3 读出噪声优化

读出噪声组成：

(\sigma_{read}^2 = \sigma_{reset}^2 + \sigma_{SF}^2 + \sigma_{ADC}^2 + \sigma_{amp}^2)

降噪技术：

相关多采样(CMS) ： σ C M S = σ 0 / M \sigma_{CMS} = \sigma_0/\sqrt{M} σCMS=σ0/M
带宽优化：降低热噪声功率谱密度
晶体管尺寸优化：减少1/f噪声
差分架构：抑制共模噪声

2.7 动态范围扩展技术：多次采样、横向溢出

2.7.1 动态范围定义与限制

动态范围(DR)定义：

(DR = 20\log_{10}\frac{FWC}{\sigma_{noise}} \text{ (dB)})

其中：

FWC：满阱容量(Full Well Capacity)
σ n o i s e \sigma_{noise} σnoise：噪声下限（通常为读出噪声）

传统像素DR限制：

小像素趋势：1.0μm像素FWC仅3000-5000e-
读出噪声下限：最佳情况1-2e-
理论极限：单次曝光约70-80dB

2.7.2 多次采样HDR技术

时域多次采样方案：

多次曝光合成：

长曝光: ████████████ (捕获暗部)
中曝光: ████ (中间调)
短曝光: █ (高光)

合成算法： (I_{HDR} = \sum_{i} w_i(x) \cdot \frac{I_i(x)}{t_i}) 权重函数设计考虑SNR和饱和： (w_i(x) = \begin{cases} 0 & I_i N_{sat} \ \text{smooth} & \text{otherwise} \end{cases})

交织HDR(Staggered HDR) ：奇偶行不同曝光时间
减少运动伪影
空间分辨率损失

2.7.3 横向溢出技术

横向溢出(Lateral Overflow)利用相邻像素存储溢出电荷：

复制代码

正常像素:     溢出像素:
  [###]   ->   [████]
               溢出 ↓
            邻近[##  ]

技术实现：

控制势垒高度：调节像素间隔离
溢出方向控制：特定方向溢出（如Quad Bayer）
溢出电荷重建：算法恢复原始信号

优势：

单次曝光实现HDR
无运动伪影
保持时间分辨率

挑战：

色彩串扰风险
重建算法复杂
需要精确工艺控制

2.8 传感器性能指标与ISP设计权衡

2.8.1 关键性能指标体系

性能指标	定义	典型值	ISP影响
量子效率(QE)	光电转换效率	40-95%	低光性能
动态范围(DR)	最大/最小可测信号比	60-120dB	HDR处理需求
SNR	信噪比	35-45dB@标准照度	降噪算法选择
MTF	调制传递函数	>0.5@Nyquist	锐化需求
暗电流	无光照时电流	<10e-/s@25°C	长曝光校正
满阱容量(FWC)	像素最大电荷	3000-50000e-	曝光策略
转换增益(CG)	μV/e-	50-200μV/e-	ADC设计
串扰	像素间干扰	<5%	色彩校正

2.8.2 性能权衡三角

复制代码

        低光性能
           /\
          /  \
         /    \
        /      \
    速度 ------ 分辨率

典型权衡场景：

像素尺寸选择：大像素(>3μm)：低光好、DR高、成本高
小像素( 低光 > 分辨率

关键指标：120dB+ DR, 低光 > 功耗
关键指标：48MP+, AI-ISP集成
特殊需求：多摄融合、计算摄影

安防监控：

优先级：低光 > 成本 > 分辨率
关键指标：0.001 lux, 24/7稳定性
特殊需求：红外敏感、WDR

本章小结

本章系统介绍了CMOS图像传感器的核心技术，从光电转换的物理基础到先进的信号处理架构。关键要点包括：

光电转换机制：理解光子吸收、载流子产生和收集的物理过程是优化传感器性能的基础
像素架构演进：从3T到4T再到共享像素，每次演进都在特定方面实现突破，4T+PPD结构已成为主流
量子效率优化：通过光学堆栈、BSI、DTI等技术，现代传感器QE可达90%以上
片上ADC权衡：列并行ADC在性能、面积、功耗间达到最佳平衡，是主流选择
双转换增益：DCG技术实现单传感器适应更宽动态范围，是未来发展方向
噪声控制：深入理解各类噪声源，采用针对性抑制技术，暗电流和读出噪声是重点
动态范围扩展：多次曝光和横向溢出等技术将DR推向120dB+，满足HDR应用需求
性能权衡：没有完美的传感器，需要根据应用场景在各项指标间权衡

这些基础知识为后续ISP算法设计和优化提供了重要指导。理解传感器特性有助于：

设计匹配的ISP处理流水线
优化噪声模型和降噪算法
实现传感器-ISP协同优化
做出正确的系统级设计决策

练习题

基础题

2.1 计算题：某CMOS传感器像素尺寸为2.0μm×2.0μm，填充因子为65%，在550nm波长下量子效率为72%。如果入射光功率密度为100 μW/cm²，计算每个像素每秒产生的电子数。（已知：550nm光子能量约为2.25eV）
答案

解题步骤：

像素有效面积 = 2.0×2.0×0.65 = 2.6 μm² = 2.6×10⁻⁸ cm²
每像素入射功率 = 100×10⁻⁶ × 2.6×10⁻⁸ = 2.6×10⁻¹² W
光子能量 = 2.25 eV = 2.25×1.6×10⁻¹⁹ = 3.6×10⁻¹⁹ J
每秒光子数 = 2.6×10⁻¹² / 3.6×10⁻¹⁹ = 7.22×10⁶
产生电子数 = 7.22×10⁶ × 0.72 = 5.2×10⁶ e⁻/s

2.2 某4T像素的浮动扩散节点电容为2fF，满阱容量为5000e⁻。计算：

a) 转换增益是多少μV/e⁻？

b) 满阱时FD节点电压摆幅是多少？

c) 如果ADC参考电压为1.2V，需要多少位ADC才能分辨单个电子？
答案

a) 转换增益 = q/C = 1.6×10⁻¹⁹ / 2×10⁻¹⁵ = 80 μV/e⁻

b) 电压摆幅 = 5000 × 80×10⁻⁶ = 0.4V

c) LSB = 1.2V / 2ⁿ < 80μV

2ⁿ > 1.2V / 80μV = 15000

n > log₂(15000) = 13.87

需要14位ADC

2.3 判断题：说明以下关于CMOS传感器的陈述是否正确，并简要解释原因。

a) PPD结构主要通过增加量子效率来提升低光性能

b) 暗电流每降低7°C大约减半

c) 相关双采样(CDS)可以完全消除光子散粒噪声

d) 背照式(BSI)传感器的主要优势是提高了满阱容量
答案

a) 错误。PPD主要通过降低暗电流和实现CDS降噪来提升低光性能，对QE提升有限

b) 正确。暗电流的温度依赖遵循翻倍温度约7-8°C的规律

c) 错误。CDS消除复位噪声(kTC噪声)，光子散粒噪声是量子特性无法消除

d) 错误。BSI主要优势是提高量子效率和填充因子，对满阱容量影响不大

挑战题

2.4 系统设计题：为自动驾驶前视摄像头选择图像传感器，需要在200m距离识别80cm高的物体，垂直视角30°，要求帧率≥30fps，动态范围≥120dB。请设计：

a) 最小垂直分辨率要求

b) 推荐的像素尺寸范围及理由

c) 建议采用哪种HDR技术方案

d) ADC架构选择及量化位数
答案

a) 垂直分辨率计算：

200m处30°视角覆盖高度：200×tan(15°)×2 = 107m
每像素覆盖：80cm至少需要3-5像素识别
像素高度 < 80/3 = 27cm
垂直像素数 > 107m/0.27m = 396
考虑裕量，建议≥720p(垂直720像素)

b) 像素尺寸：3-5μm

需要高DR和低光性能，不宜太小
3μm以下难以实现120dB DR
5μm以上传感器成本过高
建议3.5-4.5μm折中方案

c) HDR方案：交织HDR + DCG

单次曝光减少运动伪影
DCG扩展单次曝光DR
交织HDR进一步扩展至120dB+

d) ADC架构：列并行12-14bit

30fps需要较快转换速度
列并行ADC平衡速度和功耗
12-14bit满足120dB动态范围需求

2.5 开放思考题：随着像素尺寸不断缩小（已接近0.6μm），传统CMOS传感器面临物理极限。请分析：

a) 主要的物理限制因素有哪些？

b) 可能的技术突破方向

c) 对ISP设计会带来什么新挑战？
答案

a) 物理限制：

衍射极限：艾里斑直径~1.22λf/D，影响MTF
光子不足：小像素收集光子数少，SNR恶化
满阱容量：<1000e⁻，动态范围受限
串扰加剧：像素间距接近光波长
工艺限制：特征尺寸接近工艺极限

b) 技术突破方向：

计算摄影补偿：AI超分、多帧融合
新材料：量子点、有机光电材料、钙钛矿
新结构：超透镜、纳米光子学
堆叠技术：3D集成提高填充因子
事件相机：突破帧率限制

c) ISP新挑战：

噪声模型复杂化：非线性、空变特性
串扰补偿：需要复杂的解串扰算法
AI-ISP融合：传统方法失效，需要深度学习
多传感器融合：像素级融合提升性能
实时性要求：计算量激增vs延迟要求

2.6 定量分析题：某手机采用四合一(Quad Bayer)传感器，单个小像素0.8μm，合并后等效1.6μm。已知：

单个0.8μm像素：FWC=3000e⁻，读出噪声=2.5e⁻
合并模式：FWC=12000e⁻，读出噪声=3.5e⁻

计算并比较两种模式在不同光照下(10 lux、100 lux、1000 lux)的SNR表现，并分析切换策略。
答案

SNR计算公式：SNR = 20log₁₀(S/N)

其中总噪声：N = √(S + σ²ᵣₑₐ𝒹)

假设光电转换率k=10e⁻/lux/ms，积分时间t=30ms：

10 lux场景：

0.8μm：S=3000e⁻(饱和)，N=√(3000+6.25)=54.8，SNR=35dB
1.6μm：S=3000e⁻，N=√(3000+12.25)=55.0，SNR=34.9dB
选择：0.8μm模式（略优）

100 lux场景：

0.8μm：S=3000e⁻(饱和)，N=54.8，SNR=35dB
1.6μm：S=12000e⁻(饱和)，N=√(12000+12.25)=109.6，SNR=40.8dB
选择：1.6μm模式（明显优势）

切换策略：

<50 lux：使用0.8μm高分辨率模式
>50 lux：使用1.6μm合并模式获得更好SNR
HDR场景：动态切换或双模式输出

常见陷阱与错误

传感器选型陷阱

过度关注像素数量 错误：认为像素越多画质越好
正确：综合考虑像素尺寸、量子效率、噪声水平
忽视温度影响 错误：室温测试结果直接用于产品
正确：考虑工作温度范围(-40°C到85°C)的性能变化
动态范围理解偏差 错误：单看满阱容量评估DR
正确：噪声基底同样重要，SNR=1时的信号才是下限

设计集成错误

时序违反 错误：随意调整传感器时序参数
正确：严格遵守setup/hold时间，考虑温度和工艺偏差
电源设计不当 错误：所有电源共用，纹波控制不严
正确：模拟/数字分离，PSRR分析，1000小时)

多批次一致性验证
EMC/EMI兼容性测试

系统设计阶段

传感器-镜头匹配分析(CRA、光学设计)
供电方案设计(LDO选择、去耦设计)
时钟方案(jitter <50ps、相位噪声分析)
热设计(最坏功耗分析、散热方案)
信号完整性仿真(特别是高速接口)

ISP接口设计

输入数据格式确认(RAW8/10/12/14/16)
同步信号定义(HSYNC/VSYNC/PCLK)
统计信息接口(3A统计、直方图)
中断和状态反馈机制
错误检测和恢复机制

标定和校准

暗电流校准(FPN、PRNU)
坏点标定和动态检测
镜头阴影校正参数
色彩校准(CCM矩阵)
噪声模型参数提取

算法优化

噪声模型准确性验证
HDR合成权重函数优化
串扰补偿矩阵测量
非线性校正查找表
场景自适应参数集

验证和测试

标准测试卡验证(分辨率、色彩、动态范围)
极限条件测试(低光、强光、混合光)
运动场景测试(快门效应、运动模糊)
长时间运行稳定性
与参考设计对比验证