前言
图像细化算法又称之为Thinning Algorithms,或者骨架提取(skeleton)。该算法通常用于手写体数字的细化,输入的图像要求是黑白图像,即二值图像。从白色区域提取出该区域的中心线,中心线对于白色区域相当于骨架相对于人体,所以有时候也称之为图像骨架提取。
1.Zhang算法骨架提取
zhang算法是图像细化经典算法,出自《A Fast Parallel Algorithm for Thinning Digital Patterns》。给个下载链接。
该算法个人理解:
不断循环遍历和修改输入的图像,该图像只包含0,1。黑色像素点的值是0,白色像素点的值是1。当前的点是P(记成P1,或者Pij),那么该点的8个近邻点或者说8连通区域点则记成P2,P3,P4,P5,P6,P7,P8,P9。如下图所示,该图来自论文。
这个九宫格代表九个像素,像素值取值除了0就是1。每轮迭代又分为两个子迭代,先看第一个子迭代限制条件:
一共有(a)、(b)、(c)和(d)四个限制条件,其中第一个就是P1点8个近邻点像素相加的总和在[2,6]闭区间内。设置这个条件是为了保护骨架线的端点不被删除。
第二个条件就是将P2P3P4P5P6P7P8P9组成一串由0和1的编码或者说是字符,数其中"01"的个数。如下图所示,截图来自原文,有两组"01",所以A(P1)=2。该条件是为了保护两个端点之间的点不被删除,即非端点。
条件(c)和(d)合起来就是P4=0或P6=0或者{P2=0且P8=0}。
同理,第二个子迭代前两个条件和第一个迭代一致,第三个和第四个迭代有点区别。
基于opencv实现的代码如下:
cpp
/**
* @brief 对输入图像进行细化,骨骼化
* @param src为输入图像,用cvThreshold函数处理过的8位灰度图像格式,元素中只有0与1,1代表有元素,0代表为空白
* @param maxIterations限制迭代次数,如果不进行限制,默认为-1,代表不限制迭代次数,直到获得最终结果
* @return 为对src细化后的输出图像,格式与src格式相同,元素中只有0与1,1代表有元素,0代表为空白
*/
cv::Mat thinImage(const cv::Mat& src, const int maxIterations = -1)
{
assert(src.type() == CV_8UC1);
cv::Mat dst;
int width = src.cols;
int height = src.rows;
src.copyTo(dst);
int count = 0; //记录迭代次数
while (true)
{
count++;
if (maxIterations != -1 && count > maxIterations) //限制次数并且迭代次数到达
break;
std::vector<uchar*> mFlag; //用于标记需要删除的点
//对点标记
for (int i = 0; i < height; ++i)
{
uchar* p = dst.ptr<uchar>(i);
for (int j = 0; j < width; ++j)
{
//如果满足四个条件,进行标记
// p9 p2 p3
// p8 p1 p4
// p7 p6 p5
uchar p1 = p[j];
if (p1 != 1) continue;
uchar p4 = (j == width - 1) ? 0 : *(p + j + 1);
uchar p8 = (j == 0) ? 0 : *(p + j - 1);
uchar p2 = (i == 0) ? 0 : *(p - dst.step + j);
uchar p3 = (i == 0 || j == width - 1) ? 0 : *(p - dst.step + j + 1);
uchar p9 = (i == 0 || j == 0) ? 0 : *(p - dst.step + j - 1);
uchar p6 = (i == height - 1) ? 0 : *(p + dst.step + j);
uchar p5 = (i == height - 1 || j == width - 1) ? 0 : *(p + dst.step + j + 1);
uchar p7 = (i == height - 1 || j == 0) ? 0 : *(p + dst.step + j - 1);
if ((p2 + p3 + p4 + p5 + p6 + p7 + p8 + p9) >= 2 && (p2 + p3 + p4 + p5 + p6 + p7 + p8 + p9) <= 6)
{
int ap = 0;
if (p2 == 0 && p3 == 1) ++ap;
if (p3 == 0 && p4 == 1) ++ap;
if (p4 == 0 && p5 == 1) ++ap;
if (p5 == 0 && p6 == 1) ++ap;
if (p6 == 0 && p7 == 1) ++ap;
if (p7 == 0 && p8 == 1) ++ap;
if (p8 == 0 && p9 == 1) ++ap;
if (p9 == 0 && p2 == 1) ++ap;
if (ap == 1 && p2 * p4 * p6 == 0 && p4 * p6 * p8 == 0)
{
//标记
mFlag.push_back(p + j);
}
}
}
}
//将标记的点删除
for (std::vector<uchar*>::iterator i = mFlag.begin(); i != mFlag.end(); ++i)
{
**i = 0;
}
//直到没有点满足,算法结束
if (mFlag.empty())
{
break;
}
else
{
mFlag.clear();//将mFlag清空
}
//对点标记
for (int i = 0; i < height; ++i)
{
uchar* p = dst.ptr<uchar>(i);
for (int j = 0; j < width; ++j)
{
//如果满足四个条件,进行标记
// p9 p2 p3
// p8 p1 p4
// p7 p6 p5
uchar p1 = p[j];
if (p1 != 1) continue;
uchar p4 = (j == width - 1) ? 0 : *(p + j + 1);
uchar p8 = (j == 0) ? 0 : *(p + j - 1);
uchar p2 = (i == 0) ? 0 : *(p - dst.step + j);
uchar p3 = (i == 0 || j == width - 1) ? 0 : *(p - dst.step + j + 1);
uchar p9 = (i == 0 || j == 0) ? 0 : *(p - dst.step + j - 1);
uchar p6 = (i == height - 1) ? 0 : *(p + dst.step + j);
uchar p5 = (i == height - 1 || j == width - 1) ? 0 : *(p + dst.step + j + 1);
uchar p7 = (i == height - 1 || j == 0) ? 0 : *(p + dst.step + j - 1);
if ((p2 + p3 + p4 + p5 + p6 + p7 + p8 + p9) >= 2 && (p2 + p3 + p4 + p5 + p6 + p7 + p8 + p9) <= 6)
{
int ap = 0;
if (p2 == 0 && p3 == 1) ++ap;
if (p3 == 0 && p4 == 1) ++ap;
if (p4 == 0 && p5 == 1) ++ap;
if (p5 == 0 && p6 == 1) ++ap;
if (p6 == 0 && p7 == 1) ++ap;
if (p7 == 0 && p8 == 1) ++ap;
if (p8 == 0 && p9 == 1) ++ap;
if (p9 == 0 && p2 == 1) ++ap;
if (ap == 1 && p2 * p4 * p8 == 0 && p2 * p6 * p8 == 0)
{
//标记
mFlag.push_back(p + j);
}
}
}
}
//将标记的点删除
for (std::vector<uchar*>::iterator i = mFlag.begin(); i != mFlag.end(); ++i)
{
**i = 0;
}
//直到没有点满足,算法结束
if (mFlag.empty())
{
break;
}
else
{
mFlag.clear();//将mFlag清空
}
}
return dst;
}
2.基于dlib的骨架提取
dlib是一个非常强大的图像处理和深度学习库,官方网址请点击。这么好用的库,编译起来也不麻烦,请参考这个教程完成编译。本人VS2019,CMAKE3.24.0能够顺利编译使用。
骨架提取代码:
cpp
// 读取图像
dlib::array2d<unsigned char> image;
dlib::load_image(image, "D:/Speed/Net/deepout.png");
// 进行图像骨架化
dlib::skeleton(image);
// 保存骨架化后的图像
//dlib::save_png(image, "D:/Speed/Net/deepout.png");
cv::Mat dst = dlib::toMat(image);
3. 查表法
查表法提取骨架方法参加地址。其实查表法无外乎还是迭代图像中像素,并且结合当前像素点p和其8个近邻点来处理。其实对于任何一个像素p,其周围8个点无非是0或者1(非0)。那么根据以前高中学的排列组合知识,一共有2的8次方种可能性,即256种可能性。再进一步来说,一个像素点其周围领域的取值情况是可以穷尽的。那么就需要对周围8个像素进行编号,使得最终对应于256种情况中的一种。如下图右侧的九宫格所示,其中8个领域中任意一个或者多个数相加,不会存在重复的情况,而且能够通过任意1个或者多个格子里的数值相加得到的数字取值恰好是1~256。