OV5645摄像头的HDMI灰度显示实验
概述
a）在数字图像处理领域YUV是一种常用的图像格式，其特点是将亮度和色度进行分离，更适合运用于图像处理领域。RGB格式的图片的像素数据是比较复杂与庞大的，这对于后续的图像处理，例如图像分割、图像识别、图像分析等上层操作来说是个挑战。为了解决这个难题，我们可以对RGB彩色图片进行一些预处理，例如不要色彩信息，只保留整幅图像的整体和局部的亮度等级的分布特征。经过这样的预处理后的图像，我们称之为灰度化的图像。
b）灰度图像虽然丢失了丰富的色彩信息，但仍然保留了整幅图像的整体和局部的亮度等级的分布特征，有这些信息就完全可以满足基本的图像处理。再加上灰度图像在进行图像处理时计算量相比彩色图像小得多，所以可以看到在图像处理领域中，图像的灰度化是一种常用的方法。
c）灰度图像的编码格式是YUV（YCbCr），是欧洲电视系统所采用的一种颜色编码方法。"Y"表示明亮度（Luminance或Luma），也就是灰阶值，"U"和"V"表示色度，用于描述影像的饱和度和色调。RGB与YUV的转换实际上是色彩空间的转换，即将RGB的三原色色彩空间转换为YUV所表示的亮度与色度的色彩空间模型。
d）YUV编码的图像就是灰度图像，灰度就是没有色彩，用数字显示设备表示就是灰度图像是R、G、B三个分量值相同的一种特殊的彩色图像，其一个像素点的变化范围为0-255（8bit量化），所以在数字图像处理种一般先将各种格式的彩色图像转变成灰度图像以减轻后续图像处理的计算量。灰度图像上每个像素的颜色值又称为灰度值，使用8bit量化时，灰度等级范围为0-255，一般白色的灰度等级为255，黑色为0。
e）YUV主要应用在模拟系统中，而YCbCr是YUV信号的发展，是YUV经过缩放和偏移的翻版，主要应用在数字视频中的一种编码方法。YUV适用于PAL和SECAM彩色电视制式，而YCrCb适用于计算机用的显示器。
f）RGB着重于人眼对色彩的感应，YUV则着重于视觉对于亮度的敏感程度。使用YUV描述图像的好处在于，①亮度（Y）与色度（U、V）是独立的；②人眼能够识别数千种不同的色彩，但只能识别20多种灰阶值，采用YUV标准可以降低数字彩色图像所需的储存容量。因而YUV在数字图像处理中是一种很常用的颜色标准。YUV信号的提出，是因为国际上出现彩色电视，为了兼容黑白电视的信号而设计的，在视频码率，压
缩，兼容性等方面有很大优势，我们最常用的主要是YUV4:4:4和YUV4:2:2两种样格式的YUV信号。下面我们将介绍这两种格式的信号。
1）在YUV4:4:4格式中，YUV三个信道的采样率相同。因此在生成的图像里，每个像素都有各自独立的三个分量，每个分量通常为8bit，故每个像素占用3个字节。下图为YUV444单个像素的模型图，可以看出，每个Y都对应一组U、V数据，共同组成一个像素。
2）在YUV4:2:2格式中，U和V的采样率是Y的一半（两个相邻的像素共用一对U、V数据）。如下图所示，图中包含两个相邻的像素。第一个像素的三个YUV分量分别是Y1、U1、V1，第二个像素的三个YUV分量分别是Y2、U1、V1，两个像素共用一组U1、V1。
3）YUV4:4:4格式和YUV4:2:2格式的数据流也是不同的。如一组连续的四个像素P1、P2、P3、P4，采用YUV444的采样格式时，数据流为Y1U1V1、Y2U2V2、Y3U3V3，每组数据代表一个像素点。而用YUV422的采样格式时，数据流为Y1U1Y2V1、Y3U2Y4V2。其中，Y1U1Y2V1表示P1、P2两个像素，Y3U2Y4V2表示P3、P4两个像素。
g）下面为常用的RGB与YCbCr色彩空间转换的几种方法：
1）分量法：将彩色图像的R、G、B三个分量的其中一个分量值作为灰度图像的灰度值，例如像素的灰度值Y=红色分量R。
2）最值法：将彩色图像的R、G、B三个分量中值最大或最小的作为该点像素的灰度值。
3）平均值法：将彩色图像的每个像素点的R、G、B三个分量的平均值，作为该像素的灰度值。
4）加权平均法
硬件设计
程序设计
a）总体模块设计
基于OV5640的中值滤波
概述
a）在数字图像处理中，无论是直接获取的灰度图像，还是由彩色图像转换得到的灰度图像，里面都有噪点的存在，噪点对图像质量有很大的影响。空间滤波是一种常用的降噪方法，进行中值滤波（一种空间滤波）不仅可以去除孤立噪点，而且可以保持图像的边缘特性，不会使图像产生显著的模糊。
b）滤波是指接收（通过）或过滤掉信号中一定的频率分量，例如，通过低频率的滤波器称为低通滤波器。空间滤波是图像处理领域应用非常广泛的工具之一，它可以改善图像质量，包括去除高频噪声与干扰、图像平滑等。我们常见的空间滤波有中值滤波和均值滤波。
c）图像可以看成是一个定义在二维平面上的信号，该信号的幅值对应像素的灰度（彩色图像对应RGB三个分量）。图像的频率指的是空间频率，它和我们认知的物理频率是不同的。图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。不同频率信息在图像结构中有不同的作用。图像的主要成分是低频信息，它形成了图像的基本灰度等级，对图像结构的决定作用较小；中频信息决定了图像的基本结构，形成了图像的主要边缘结构；高频信息形成了图像的边缘和细节，是在中频信息上对图像内容的进一步强化。
d）我们也可以通过空间滤波器（也称为空间掩模、模板或窗口）直接作用于图像本身而对图像进行滤波处理。空间滤波器由两部分组成：邻域+对该邻域包围的图像像素执行的预定义操作。邻域是指一个像素点及其附近像素点所组成的空间。滤波会产生一个新像素，像素的坐标就是邻域中心的坐标，像素的值就是滤波操作的结果。
e）中值滤波就是一种很常见的空间滤波，它一种非线性平滑技术。它将每一像素点及该像素点的邻域作为一个滤波模板，计算出模板中所有像素点的灰度值的中值，然后用它代替模板中心点像素的值。下图为像素点P及其周围8个像素点所组成的3x3滤波模板：
f）中值滤波对类似于上图中的脉冲噪声有良好的滤除作用，特别是在滤除噪声的同时，能够保护信号的边缘，使之不被模糊，这些优良特性是线性滤波方法所不具备的。此外，中值滤波的算法比较简单，也易于用硬件实现。所以，中值滤波方法一经提出后，便在数字信号处理领域得到广泛的应用。
g）
硬件设计
程序设计
a）总体模块设计
b）图像处理模块
1）
基于OV5640的二值化
概述
a）我们把图像进行二值化是为了将感兴趣目标和背景分离，在数字识别和指纹识别等场景中，二值化应用非常广泛。
b）二值图像在数字图像处理中占有非常重要的地位，特别是在实时的图像处理中，通过二值图像处理实现而构成的系统是很多的。要进行二值图像的处理与分析，首先要把灰度图像二值化，得到二值化图像，这样有利于在对图像做进一步处理时，图像的集合性质只与像素值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。
c）实现二值化有两种方法，一种是手动指定一个阈值，通过阈值来进行二值化处理；另一种是一个自适应阈值二值化方法（OTSU算法和Kittle算法等）。使用第一种方法计算量小速度快，但在处理不同图像时颜色分布差别很大；使用第二种方法适用性强，能直接观测处图像的轮廓，但相对计算更复杂。
d）如果某特定物体在内部有均匀一致的灰度值，并且其处在一个具有其他等级灰度值的均匀背景下，使用阈值法就可以得到比较有效的分割效果。如果物体同背景的差别表现不在灰度值上（比如纹理不同），可以将这个差别特征转换为灰度的差别，然后利用阈值选取技术来分割该图像。
硬件设计
实验任务
程序设计
a）总体模块设计
1）
基于OV5640的sobel边缘检测
概述
a）边缘检测是一种常用的图像分割技术，常用的边缘检测算子有Roberts Cross算子、Prewitt算子、Sobel算子和Kirsch算子等。Sobel算子是根据像素点上下左右邻点灰度加权差在边缘处达到极值这一现象来检测边缘。其对噪声具有平滑作用，提供较为精确的边缘方向信息，当对精度要求不是很高时，是一种较为常见的边缘检测方法。
b）所谓边缘是指其周围像素灰度急剧变化的那些像素的集合，它是图像最基本的特征。边缘存在于目标、背景和区域之间，所以，它是图像分割所依赖的最重要的依据。由于边缘是位置的标志，对灰度的变化不敏感，因此，边缘也是图像匹配的重要的特征。
c）边缘检测和区域划分是图像分割的两种不同的方法，二者具有相互补充的特点。在边缘检测中，是提取图像中不连续部分的特征，根据闭合的边缘确定区域。而在区域划分中，是把图像分割成特征相同的区域，区域之间的边界就是边缘。由于边缘检测方法不需要将图像逐个像素地分割，因此更适合大图像的分割。边缘大致可以分为两种，一种是阶跃状边缘，边缘两边像素的灰度值明显不同；另一种为屋顶状边缘，边缘处于灰度值由小到大再到小的变化转折点处。边缘检测的主要工具是边缘检测模板。边缘检测的有很多，典型的有索贝尔算子、普里维特算子、罗伯茨交叉边缘检测等边缘检测技术，在本章设计中采用的是索贝尔算子。
d）
硬件设计
实验任务
程序设计
a）总体模块设计
1）
基于OV5640的数字识别实验
概述
a）数字识别一般通过特征匹配及特征判别的方法来进行处理，前者一般适用于规范化的印刷体字符识别，现今该技术基本成熟，后者多用于手写字符识别，其研究还处于探索阶段，识别率还比较低。本章我们通过对印刷体数字识别入手，了解特征匹配识别的应用。
b）数字特征识别是通过对数字的形状以及结构等几何特征进行分析与统计，通过对数字特征的匹配从而达到对图像中数字的识别，如下图所示：
