目录
[1. 图像传感器（Sensor）](#1. 图像传感器（Sensor）)
[2. CCD和CMOS比较](#2. CCD和CMOS比较)
[3. ISP（Image Signal Processor）](#3. ISP（Image Signal Processor）)
[（1）AEC(Automatic Exposure Control)](#（1）AEC(Automatic Exposure Control))
[（2）AWB(Automatic White Balance)](#（2）AWB(Automatic White Balance))
[（3）AGC(Automatic Gain Control)](#（3）AGC(Automatic Gain Control))
[（4）色彩校正（color Correction）](#（4）色彩校正（color Correction）)
[（5）ABL、AWL(Auto Black Level、Auto White Level)](#（5）ABL、AWL(Auto Black Level、Auto White Level))
[4. DSP（Digital Signal Processing）](#4. DSP（Digital Signal Processing）)
[1. 图像解析度/分辨率（Resolution）](#1. 图像解析度/分辨率（Resolution）)
[2. 图像格式](#2. 图像格式)
[3. 自动白平衡调整（AWB）](#3. 自动白平衡调整（AWB）)
[4. 色彩深度](#4. 色彩深度)
[5. 图像噪音](#5. 图像噪音)
[6. 帧率](#6. 帧率)
[7. 码流](#7. 码流)
[8. 曝光](#8. 曝光)
[1. DVP接口](#1. DVP接口)
[2. MIPI-CSI2接口](#2. MIPI-CSI2接口)
[3. USB接口](#3. USB接口)
[1. RAW data格式](#1. RAW data格式)
[2. RGB 格式](#2. RGB 格式)
[3. YUV格式](#3. YUV格式)
[4. JPEG格式](#4. JPEG格式)
[六、数字视频信号标准ITU BT.601和TU BT.656](#六、数字视频信号标准ITU BT.601和TU BT.656)
[ITU-R BT.601](#ITU-R BT.601)
[ITU - R BT.6561](#ITU - R BT.6561)
一、生活中的摄像头
二、摄像头工作原理
拍摄景物通过镜头（LENS），将**生成的光学图像投射到传感器上，然后光学图像被转换成电信号，电信号再经过 A/D (模数转换) 变成数字信号，数字信号经过 DSP 加工处理，**再被送到手机处理器中进行处理，最终转换成手机屏幕上能够看到的图像。
CCD (Charge Couple Device)：电荷耦合器件
CMOS (Complementary Metal Oxide Semiconductor)：互补金属氧化物半导体
插值算法是通过已知邻近像素点的灰度值来产生未知像素点的灰度值，以便由原始图像再生出具有更高分辨率的图像
1. 图像传感器（Sensor）
图像传感器：是一种半导体芯片，其表面包含有几十万到几百万个感光二极管，这些感光二极管受到照射时，就会产生电荷（光信号转电信号）
2. CCD和CMOS比较
| 项目 | CCD | CMOS |
|---|---|---|
| 工作原理 | 电荷信号先传送，后放大，再 A/D | 电荷信号先放大，后 A/D，再传送 |
| 成像质量 | 灵敏度高、分辨率好、噪声小 | 灵敏度低、噪声明显（高感光度下表现好） |
| 制造工艺 | 复杂 | 相对简单、成品合格率高 |
| 制造成本 | 高 | 低 |
| 耗电量 | 高（驱动电压高） | 低（高整合度、体积小） |
| 处理速度 | 慢 | 快 |
| 代表厂商 | 索尼、富士、柯达、飞利浦、松下、夏普 | Omni Vision（OV）、惠普、三星、摩托罗拉、东芝 |
3. ISP（Image Signal Processor）
ISP（Image Signal Processor）即图像信号处理，主要作用是对前端图像传感器输出的信号做后期处理，依赖于 ISP 才能在不同的光学条件下都能较好的还原现场细节。
ISP 一般用来处理 Image Sensor（图像传感器）的输出数据，如做 AEC（自动曝光控制）、AGC（自动增益控制）、AWB（自动白平衡）、色彩校正、Gamma 校正、Auto Black Level（自动黑电平）、Auto White Level （自动白电平）等等功能的处理。
（1）AEC(Automatic Exposure Control)
AEC (Automatic Exposure Control) 自动曝光；
当外界光线较弱时，CMOS 成像芯片工作电流较小，所成图像偏暗，这时要适当增加曝光时间进行背光补偿；
光线充足或较强时，要适当减少曝光时间，防止曝光过度，图像发白。
（2）AWB(Automatic White Balance)
AWB (Automatic White Balance) 自动白平衡；
对色温环境所造成的颜色偏差和拍摄设备本身所固有的色彩通道增益偏差进行统一补偿，从而让获得的图像能正确反映物体的真实色彩。(传感器对温度有一定的敏感)
（3）AGC(Automatic Gain Control)
AGC (Automatic Gain Control) 自动增益控制；使放大电路的增益自动地随信号强度而增强的自动控制方法；当弱信号输入，线性放大电路工作；反之启动压缩放大电路。
（4）色彩校正（color Correction）
色彩校正（Color Correction）；颜色饱和度（Saturation）、亮度（Brightness）的调整；
（5）ABL、AWL(Auto Black Level、Auto White Level)
ABL、AWL (Auto Black Level、Auto White Leve) 自动黑、白电平：向上调节黑电平（黑电平是指图像数据为 0 时对应的信号电平），图片将变暗；低于黑电平的像素会全部显示成黑色以遮盖暗场噪点；一般来说黑电平数值越低，说明屏幕在暗场的显示效果越好。
（6）Gamma校正
Gamma矫正，原因是人眼睛的非线性特性，亮度发生变化时，人眼感受到的不是成倍的关系
4. DSP（Digital Signal Processing）
DSP(Digital Signal Processing)：通过一系列复杂的数学算法运算，对数字图像信号参数进行优
化处理（RGB/YUV→JPEG），并把处理后的信号传输到存储或显示部件。
三、Camera常用参数介绍
1. 图像解析度/分辨率（Resolution）
| 格式 | 尺寸 | 像素值 | 备注 |
|---|---|---|---|
| QSIF/QQVGA | 160 x 120 | 19200 | |
| QCIF | 176 x 144 | 25344 | |
| SIF/QVGA | 320 x 240 | 76800 | |
| CIF | 352 x 288 | 101376 | 10 万像素 |
| VGA | 640 x 480 | 307200 | 30 万像素（35 万是指 648X488） |
| SVGA | 800 x 600 | 480000 | 50 万像素 |
| XGA | 1024 x 768 | 786432 | 80 万像素 |
| SXGA | 1280 x 1024 | 1310720 | 130 万像素 |
| UXGA | 1600 x 1200 | 1920000 | 200 万像素 |
| QXGA | 2048 x 1536 | 3145728 | 300 万像素（320W） |
2. 图像格式
像素格式，比如:RGB565，YUV4:2:2等。
3. 自动白平衡调整（AWB）
白平衡指不管在任何光源下，都能将白色物体还原为白色。
白平衡是描述显示器或相机中红、绿、蓝三基色混合生成后白色精确度的一项指标。
4. 色彩深度
色彩深度在计算机图形学领域中表示在位图或者视频帧缓冲区中储存 1 像素的颜色所用的位数，它也称为位 / 像素（bpp）。色彩深度越高，可用的颜色就越多。
现在市场上的摄像头均已达到 24 位，有的甚至是 32 位
5. 图像噪音
图像噪点
6. 帧率
帧率指的是 1 秒钟时间里传输、显示图片的帧数，每一帧就是一个画面，快速连续的多帧就形成了运动的动态效果。
高的帧率可以得到更加流畅，更加逼真的画面。
7. 码流
码流（Data Rate）是指视频文件单位时间内使用的数据流量，也叫码率或码流率，单位是 kb/s 或者 Mb/s。同样分辨率下，视频文件的码流越大，画面质量就越高。
8. 曝光
曝光就是图像的明暗程度，照片太暗称为曝光不足，照片太亮称为曝光过度。
四、Camera常用接口
Camera 接口实在多种多样，总的来说分为三大类：Parallel（并口）/DVP 接口 / CSI 接口、Serial（串口）/MIPI-CSI 接口以及 USB 口。
1. DVP接口
并口一般称 DVP 接口 (Digital Video Port)，也称为 CSI (CMOS Sensor Interface) 接口，最易将图像信号按照 8bit，10bit，12bit 等数据格式，在时钟的作用下，一次性传输 8 位或者 12 位，这种方式最大的特点就是需要的数据线较多，时钟 PCLK 极限约在 96MHZ 左右，且走线长度不能过长，所以 DVP 的最大速率最好控制在 72M 以下。
I2C总线可以对摄像头进行配置，如分辨率，白平衡参数
（1）输入总线介绍
- PWDN：camera 的使能管脚，有两种配置方式，一种为 standby，一种为 normal work，当设置为 standby 时，一切对于 camea 的操作都是无效的，包括复位，所以一定要将 PWDN 管脚设置为 normal 模式，否则 RESET 无效
- RESET：camera 的复位管脚，此方式为硬复位模式，camera 的各个 IO 口恢复到出厂默认状态，只有当 XCLK 开启后，将 RESET 置为低，硬复位才有效，否则复位无效
- XCLK：是 camera 的工作时钟管脚，此管脚为 SOC 提供 camera 的工作时钟，也可以外接一个晶振给 Camera 提供时钟信号
- IIC：是 camera 和 SOC 通信的 I2C 总线，主要用来对 Camera Sensor 进行一些参数的配置，如分辨率、数据格式等。
（2）输出总线介绍
- DATA：camera 数据管脚，此数据脚可以输出的格式为 YUV、RGB、JPEG 等
- VSYNC：camera 的帧同步信号管脚。一个 VYSNC 信号结束表示一帧（即一个画面）的数据已经输出完毕
- HSYNC：camera 行同步信号管脚。一个 HSYNC 信号结束表示一行的数据已经输出完毕
- PCLK：像素同步信号管脚。一个 PCLK 信号结束表示一个像素点的数据已经输出完毕
（3）注意
XCLK (MCLK) 是由 SOC 提供给摄像头的工作时钟，从而使摄像头工作，PCLK 是摄像头自己产生的时钟信号，通过摄像头 sensor 的内部 PLL 电路可以产生不同频率的 PCLK。
2. MIPI-CSI2接口
MIPI 接口：移动产业处理器接口（Mobile Industry Processor Interface：简称 MIPI），1 对时钟线，1～4 lane 数据线，且都是差分走线，有比较强的抗干扰性。这种接口多用于手机接口，一些监控用的 CMOS 如 SONY IMX185、OV5640 等传感器接口。
4 lane 的意思是有四组 DATAP/DATAN 线，2lane 的意思是 2 组 DATAP/DATAN 线，最大支持 4 通道数据传输，单传输速度高达 2Gb/s。
CCI (Camera Control Interface) 摄像头控制接口。在 MIPI 中，充当着控制接口的作用，提供 mipi 接口 sensor 的控制传输通道。
3. USB接口
我们先介绍一下 UVC 是什么，UVC 全称 USB video class 或者 USB device class，是 Microsoft 与另外几家设备厂联合推出的 USB 视频捕获设备定义的协议标准，目前已经成为 USB ORG 标准之一。如今的主流操作系统都已经提供 UVC 设备驱动，因此符合 UVC 规格的硬件设备在不需要安装任何驱动程序下就可以在主机中正常使用。
五、Camera输出的数据格式
1. RAW data格式
CMOS 在将光信号转换为电信号时的高低电平的原始记录，单纯地将没有进行任何处理的图像数据进行存储，即摄像元件直接得到的电信号进行数字化处理而得到的。每个 pixel 只能感光 R 光或者 B 光或者 G 光，每个像素此时存贮的是单色的，即 RAW DATA。后续需要 ISP 处理还原成三基色。
2. RGB 格式
采用这种编码方法，每种颜色都可用三个变量来表示红色、绿色以及蓝色的强度。每一个像素有三原色 R 红色、G 绿色、B 蓝色组成。
3. YUV格式
其中 "Y" 表示明亮度 (Luminance 或 Luma)，就是灰阶值；而 "U" 和 "V" 表示色度 (Chrominance 或 Chroma)，是描述影像色彩及饱和度，用于指定像素的颜色。
4. JPEG格式
有些 sensor，特别是低分辨率的，其自带 JPEG engine，可以直接输出压缩后的 jpg 格式的数据。
六、数字视频信号标准ITU BT.601和TU BT.656
ITU-R BT.601
- 基本信息：1982 年由国际电信联盟无线电通信部门（ITU-R）发布，前身为 CCIR 601。是 "演播室数字电视编码参数" 标准，为电视演播室数字编码的国际标准，统一了不同制式电视系统的数字分量编码标准，使 PAL、NTSC 和 SECAM 制式便于转换和统一。
- 主要规定 2
- 采样频率：亮度分量 Y 的采样频率为 13.5MHz，两个色差分量 R - Y、B - Y 的采样频率均为 6.75MHz。该采样频率是 PAL、SECAM 制行频的 864 倍，NTSC 制行频的 858 倍，可保证采样时钟与行同步信号同步。
- 分辨率：对于所有制式，每一行的有效样本点数为 720 点。PAL 和 SECAM 制每帧的有效行数为 576 行，NTSC 制为 484 行，CCIR 定义 720×484 为高清晰度电视 HDTV 的基本标准。
- 量化：每个样本点按 8 位数字化，有 256 个等级。演播室采用 10bit 量化，传输采用 8bit 量化。编码信号是经过 γ 预校正的 Y、(R - Y)、B - Y 信号，相应于量化级 0 和 255 的码字专用于同步，1 到 254 的量化级用于视频信号。
- 彩色空间与编码方式：采用分量编码，即对亮度分量 Y 和两个色差分量 R - Y、B - Y 进行编码。
ITU - R BT.6561
- 基本信息：是 ITU - R BT.601 附件 A 中的数字接口标准，用于主要数字视频设备（包括芯片）之间采用 27MHz/s 并口或 243Mb/s 串行接口的数字传输接口标准。定义了一个并行的硬件接口用来传送一路 4:2:2 的 YCbCr 数字视频流。
- 数据结构 ：
- 帧结构：一帧图像数据由一个 625 行、每行 1728 字节的数据块组成。其中，23～311 行是偶数场视频数据，336～624 行是奇数场视频数据，其余为垂直控制信号。
- 行结构：每行数据包含水平控制信号和 YCbCr 视频数据信号，排列顺序为 Cb - Y - Cr - Y。每行开始的 288 字节为行控制信号，开始的 4 字节为 EAV 信号（有效视频结束），紧接着 280 个固定填充数据，最后是 4 字节的 SAV 信号（有效视频起始）。SAV 和 EAV 信号有 3 字节的前导 FF、FF、00，最后 1 字节 XY 表示该行位于整个数据帧的位置及如何区分 SAV、EAV。
两者关系
ITU - R BT.656 是基于 ITU - R BT.601 标准的数字接口标准，是 ITU - R BT.601 在数字视频设备接口方面的具体实现规定。BT.601 规定了数字电视演播室的编码参数，而 BT.656 规定了这些编码数据在设备之间传输的接口和数据格式等细节。
本文知识整理原作者所有，不代表本人观点，仅为分享使用，如涉及版权和知识错误，请联系更正或删除。谢谢！