相机基础概念介绍

一.概念

Camera的成像原理

景物通过镜头（LENS）生成的光学图像投射到图像传感器(Sensor)表面上，然后转为模拟的电信号，经过 A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过 IO 接口传输到 CPU 中处理，通过 LCD 就可以看到图像了.

外部光线穿过镜头Lens 后，经过 Color Filter 滤波后照射到CMOS Sensor 上， CMOS Sensor 将从 Lens 上传导过来的光线转换为电信号，再通过内部的AD模数转换，转换为数字信号。如果 Sensor 没有集成 DSP（数字信号处理），则通过 DVP（数字视频端口）的方式传输到基带Baseband上，此时的数据格式是 RAW DATA。如果集成了 DSP， RAW DATA 数据经过 AWB、则 Color Matrix、 Lens Shading、 Gamma、 Sharpness、 AE 和 De-noise 处理，后输出 YUV 或 RGB 格式的数据。

最后会由 CPU 送到 framebuffer 中进行显示，这样我们就看到 camera 拍摄到的影像了

第一层"LENS"

CAMERA的成像关键在于SENSOR，为了扩大CCD的采光率必须扩大单一像素的受光面积，在提高采光率的同时会导致画面质量下降。LENS就是相当于在SENSOR前面增加一副眼镜，SENSOR的采光率不是由SENSOR的开口面积决定而是由LENS的表面积决定。

第二层"滤色片"

目前分色滤色片有两种分色方法：

A. RGB原色分色法，就是三原色分色法，几乎所有的人类眼镜可以识别的颜色都可以通过R、G、B来组成，RGB就是通过这三个通道的颜色调节而成。

B. CMKY补色分色法，由四个通道的颜色配合而成，分别是青（C）、洋红（M）、黄（Y）、黑（K），但是调节出来的颜色不如RGB的颜色多。

第三层"感光层（SENSOR）"

图像传感器（SENSOR）是一种半导体芯片，器表面包含有几十万到几百万的光电二极管。光电二极管收到光照射时，就会产生电荷。

目前SENSOR类型有两种：

CCD（Charge Couple Device），电荷耦合器件

CMOS（Complementary Metal Oxide Semiconductor），互补金属氧化物半导体

第四层"A/D转换器"

A/D转换器即ADC（Analog DigitalConverter 模拟数字转换器），将模拟电信号转换为数字电信号。

第五层"数字信号处理芯片DSP"

数字信号处理芯片DSP（DIGITAL SIGNAL PROCESSING）功能：主要是通过一系列复杂的数学算法运算，对数字图像信息参数进行优化处理，并把处理后的信号通过USB等接口传到PC等设备。

DSP结构框架：

1）ISP（image signal processor）镜像信号处理器

2）JPEG encoder（JPEG图像解码器）

3）USB device controller（USB设备控制器）

二 . 图像格式（image Format/ Color space）

RGB:

YUV

NV21

NV12

Image Sensor类型

a) YUV Sensor

YUV Sensor输出的Data格式为YUV，图像的效果处理使用Sensor内部的ISP，BB端接收YUV格式的data后只进行格式的转换，效果方面不进行处理，由于Sensor内部的ISP处理能力有限，且YUV Sensor的数据量比较大（YUV422的格式1个pixel2个byte），一般Size都比较小，常见的YUV sensor都是5M以下

b) Raw Sensor

Raw Sensor输出的Data格式为Raw，图像的效果处理使用BB端的ISP，BB端接收Raw data后进行一系列的图像处理（OB，Shading，AWB，Gamma，EE，ANR等），效果方面由BB端控制，需要针对不同的模组进行效果调试，Raw sensor是目前的主流，数据量比YUV Sensor小（RAW10 格式的sensor 1个pixel 10个bit）使用平台ISP处理，能支持较大的size