液晶段码（米/日字格）识别—倾斜校正

在前文的处理中，采集到的图像并不一定是完全水平的，因此对于出现倾斜的图像需要对其进行倾斜校正，否则会影响到后面的字符匹配。本文采用仿射变换的方法实现对倾斜图像的校正。

4.1 仿射变换

仿射变换又称为仿射映射，它反应的是两个二维坐标之间的线性变换关系。在几何中它通常是指通过比例、反射、旋转、错切和平移这些变换或它们变换的组合，来实现两个向量空间之间的变换。仿射变换能很好地保持了二维图形的平直性和平行性，平直性即直线经过变换之后依然是直线，平行性即二维图形之间的相对位置关系保持不变。一个任意的仿射变换都能表示为乘以一个线性变换矩阵再加上一个平移向量的形式，可以实现对图像的旋转、平移和缩放。

在图像处理中，仿射变换代表的就是两幅图像之间的关系，通常使用2×3矩阵来表示仿射变换：

考虑到要用A、B对二维向量做变换，所以也可以表示为如下形式：

所以，有：

其中，矩阵A可以叫做旋转矩阵，而B可以叫做平移向量。

4.2 RotatedRect的points()

对于四边形来说，RotatedRect的points函数返回的四个点的顺序如下图所示：

OpenCV采用的通用图像坐标系，左上角为原点O（0，0），X轴向右递增，Y轴向下递增，单位为像素。

对于矩形4各顶点位置的确定，p $0$ 是关键，在p $0$ 点确定之后，其余3点按顺时针排列。

对于p $0$ 点，如果对边与Y轴平齐，则Y坐标最大的点为0点；如果对边与Y轴平齐，则在两个Y轴坐标最大的点中，X轴较小的为0点。

而在上图中，只能处理的有(b),(c)。

4.3 基准点定位

一般来说，液晶表面是一个矩形，类似于上图的图（a），当width > height（图b、c）时，矩形的各个顶点与图（a）是对应的，而当width < height时，矩形的各个顶点与图（a）是错位的。

其次，四边形并不完全是矩形，如何将此四边形与矩形的各个点相对应。在本文中考虑利用minAreaRect创建一个旋转矩形（RotatedRect），然后按距离最短的依据将四边形的各个点与RotatedRect的各个点对应起来。

cpp 复制代码

void  AdjContoursPoly(std::vector<Point> cPoly, Point2f *pcRsl)
{
	Point2f points[4];
	RotatedRect rrc = minAreaRect(cPoly);				//创建旋转矩形
	rrc.points(points);								//旋转矩形的四个点

	if (rrc.size.width < rrc.size.height)				
	{//width<height的时候
		for (short j = 0; j < 4; j++)
		{
			long lMin = -1;  short sPos = -1;
			for (short i = 0; i < 4; i++)
			{//计算两点之间的间距
				long lDist = norm(points[j] - Point2f(cPoly[i].x, cPoly[i].y));
				if (lMin < 0 || lDist < lMin)
				{//寻找距离最短的点
					lMin = lDist;
					sPos = i;
				}
			}
			pcRsl[j] = cPoly[sPos];
		}
	}else
	{//width>height的时候
		for (short j = 0; j < 4; j++)
		{
			long lMin = -1;  short sPos = -1;
			for (short i = 0; i < 4; i++)
			{//计算两点之间的间距
				long lDist = norm(points[j] - Point2f(cPoly[i].x, cPoly[i].y));
				if (lMin < 0 || lDist < lMin)
				{//寻找距离最短的点
					lMin = lDist;
					sPos = i;
				}
			}
			pcRsl[(j-1)&0x03] = cPoly[sPos];//错位处理
		}
	}
}

4.4 源码及执行效果

cpp 复制代码

{
	Point2f src_points[4];
	Point2f dst_points[4];
	AdjContoursPoly(ContoursPoly, src_points);	//源四边形的四个点

	dst_points[0] = Point2f(0.0, 0.0);
	dst_points[1] = Point2f(400.0, 0.0);
	dst_points[2] = Point2f(400.0, 200);
	dst_points[3] = Point2f(0.0, 200.0);		//目标四边形的四个点

//计算透视变换矩阵
	Mat rotation= getPerspectiveTransform(src_points, dst_points);
//透视变换投影
	warpPerspective(m_SrcImg, m_WarpImg, rotation, Size(400, 200)); 

	ImgShow(m_hWarpDC, m_cWarpRect, m_WarpImg);
}

4.5 函数原型

getPerspectiveTransform 是 OpenCV 中用于计算‌透视变换矩阵 ‌（3×3 矩阵）的核心函数，基于四对对应点坐标实现从源图像到目标图像的几何映射。其‌ 核心功能 ‌ 根据‌源图像 ‌和‌目标图像 ‌上各‌4 个对应点‌（共8个坐标），计算出一个 3×3 的透视变换矩阵。该矩阵可用于后续的 warpPerspective() 函数，对整幅图像进行透视校正或变换。

cv::Mat cv::getPerspectiveTransform(

const cv::Point2f src\[\],

const cv::Point2f dst\[\],

int solveMethod = cv::DECOMP_LU

);

void cv::warpPerspective(
InputArray src, // 输入图像
OutputArray dst, // 输出图像
InputArray M, // 3×3 透视变换矩阵
Size dsize, // 输出图像的尺寸 (width, height)
int flags = INTER_LINEAR, // 插值方法
int borderMode = BORDER_CONSTANT, // 边界填充模式
const Scalar& borderValue = Scalar() // 边界填充值
);