文章目录
前言
读前须知 ：
首先我们得确保你已经完全知晓相关的基本的数学知识，其中包括用最小二乘法拟合曲二次曲面，以及曲面的曲率详细求解。若还是没弄清楚，则详细请看下面链接。
【点云、图像】学习中 常见的数学知识及其中的关系与python实战[更新中]（建议从一个标题上从上往下看，比较循序渐进）
补充：曲率：反映曲面在某一点处的弯曲程度，它与该点及其邻近点的位置和法向量有关。
以及一些open3d的常见操作：
爆肝5万字❤️Open3D 点云数据处理基础（Python版）
先上结果:
实现思路
不同于常见的缺陷检测，如：划痕或者斑点这些肉眼可见的缺陷，凹凸性缺陷难以肉眼可见甚至得打光照射才能看见凹槽，这里我们使用深度摄像机（普通相机＋深度信息），来采集深度信息。此时我们把图像称为深度图，当然深度图也可以转换为点云。
这里我们仅对点云这种数据进行处理。
要求：对异形曲面微细缺陷识别（我6月份之前要完成的毕设）
这里缺陷主要指凸起和凹槽。
想法1
想法1：如果是一个平面上出现凹槽或凸起的话，首先确立一个由大部分点拟合的平面，然后对不在此平面的点云进行高程分析，以确立凹陷或凸起程度。
（事实上不会很平，于是想法1排除，但可以用来做平面来做一个简单示例）
想法2
想法2：计算点云上每个点的领域曲率来描绘点的弯曲程度。
想法3
想法3：计算点云上每个点的高斯曲率和平均曲率来描绘点的弯曲程度。
补充
实现
想法1
暂无
想法2
想法2：
在求取完领域曲率的基础上，我们对其曲率的大小进行一个分割，并进行可视化。
这里进一步对这个领域曲率的定义进行详解。
首先，我们已经在这里的实战1了解到了领域曲率的求法。
基于邻域特征点提取和匹配的点云配准_李新春
可是这个定义我只在其他的博客中和下面这篇论文中找到定义，并无在wiki百科中找到相关阐述。
找了半天后依然无法解释其中原因，于是在参考了下面两篇博文后
如何理解矩阵特征值？
特征值的最大值与最小值
想出了这么一个合理的解释：
1、这个曲率定义的优点是，它不依赖于法向量的方向，而且它的值域是 [0, 1/3]，这使得它比较容易进行归一化和可视化。
2、那么，为什么用最小的特征值除以特征值和，而不是用最大的特征值除以特征值和呢？
这是因为最小的特征值对应的特征向量是曲面的法向量，而最大的特征值对应的特征向量是曲面的主方向。
如果用最大的特征值除以特征值和，那么曲率的值就会与曲面的主方向的弯曲程度成正比，而与曲面的法向方向的弯曲程度无关。这样就会忽略掉曲面的凹凸变化，导致曲率的计算不准确。
如果用最小的特征值除以特征值和，那么曲率的值就会与曲面的法向方向的弯曲程度成正比，而与曲面的主方向的弯曲程度无关。这样就可以反映出曲面的凹凸变化，提高曲率的计算精度。
因此，用最小的特征值除以特征值和，而不是用最大的特征值除以特征值和，是为了更好地描述曲面的局部形状，而不是曲面的整体方向。
于是我们就可以坦然用这个定义来求取了。
代码
怕点云太多算不过来，首先对例子中的兔子点云进行了一个下采样。（如何获取兔子点云到时候再出教程）
python
import open3d as o3d
import numpy as np
def pca_compute(data, sort=True): #1、主成分分析
average_data = np.mean(data, axis=0) # 求每一列的平均值，即求各个特征的平均值
decentration_matrix = data - average_data # 去中心化矩阵
H = np.dot(decentration_matrix.T, decentration_matrix) # 求协方差矩阵 #协方差是衡量两个变量关系的统计量，协方差为正表示两个变量正相关，为负表示两个变量负相关
eigenvectors, eigenvalues, eigenvectors_T = np.linalg.svd(H) # 求特征值与特征向量 #H = UΣV^T #输出列向量、对角矩阵、行向量
if sort:
sort = eigenvalues.argsort()[::-1] # 从大到小排序 .argsort()是升序排序，[::-1]是将数组反转，实现降序排序
eigenvalues = eigenvalues[sort] # 特征值 ## 使用索引来获取排序后的数组
return eigenvalues
def caculate_surface_curvature(radius,pcd):#2、计算点云的表面曲率
cloud = pcd
points = np.asarray(cloud.points) #点云转换为数组 点云数组形式为[[x1,y1,z1],[x2,y2,z2],...]
kdtree = o3d.geometry.KDTreeFlann(cloud) #建立KDTree
num_points = len(cloud.points) #点云中点的个数
curvature = [] # 储存表面曲率
for i in range(num_points):
k, idx, _ = kdtree.search_radius_vector_3d(cloud.points[i], radius) #返回邻域点的个数和索引
neighbors = points[idx] #数组形式为[[x1,y1,z1],[x2,y2,z2],...]
w = pca_compute(neighbors)#调用第1步 #由降序排序，w[2]为最小特征值 #np.zeros_like(w[2])生成与w[2]相同形状的全0数组
delt = np.divide(w[2], np.sum(w)) #根据公式求取领域曲率
curvature.append(delt)
curvature = np.array(curvature, dtype=np.float64)
return curvature
def curvature_normal():#3、曲率归一化 从0-1/3归到0-1之间
curvature = caculate_surface_curvature(radius,pcd) #调用第2步
c_max = max(curvature)
c_min = min(curvature)
cur_normal = [(float(i) - c_min) / (c_max - c_min) for i in curvature]
return cur_normal
def draw(cur_max,cur_min,pcd):#4、绘图
cur_normal = curvature_normal()#调用第3步
pcd.paint_uniform_color([0.5,0.5,0.5]) #初始化所有颜色为灰色
for i in range(len(cur_normal)):
if 0 < cur_normal[i] <= cur_min: #归一化后的曲率
np.asarray(pcd.colors)[i] = [1, 0, 0]#红
elif cur_min < cur_normal[i] <= cur_max:
np.asarray(pcd.colors)[i] = [0, 1, 0]#绿
elif cur_max < cur_normal[i] <= 1:
np.asarray(pcd.colors)[i] = [0, 0, 1]#蓝
# 可视化
o3d.visualization.draw_geometries([pcd])
cur_max = 0.7
cur_min = 0.3 #曲率分割基准
radius = 0.05
voxel_size = 0.01 #越小密度越大
pcd = o3d.io.read_point_cloud("bunny.pcd")
print(pcd)
pcd = pcd.voxel_down_sample(voxel_size) #下采样
draw(cur_max,cur_min,pcd)
结果：
这个长度，宽度报错可以不管，有点子强迫症的可以在可视化改成：
python
o3d.visualization.draw_geometries([pcd],window_name="可视化原始点云",
width=800, height=800, left=50, top=50,
mesh_show_back_face=False)
红色为曲率较低，绿色曲率中等，蓝色曲率较高。
发现效果上不太行，红色一些部分看着曲率也很高，甚至还出现了一个初始化时候的灰点，可能求邻近点的时候没取到？不曾得知。
想法3
首先我们在这里的高斯曲率和平均曲率求解有了一些认识。
附一张图：
代码
python
import open3d as o3d
import numpy as np
from scipy.optimize import curve_fit
voxel_size = 0.01 #越小密度越大
radius = 0.07
pcd = o3d.io.read_point_cloud("bunny.pcd")
pcd = pcd.voxel_down_sample(voxel_size) #下采样
cloud = pcd
points = np.asarray(cloud.points) #点云转换为数组 点云数组形式为[[x1,y1,z1],[x2,y2,z2],...]
kdtree = o3d.geometry.KDTreeFlann(cloud) #建立KDTree
num_points = len(cloud.points) #点云中点的个数
pcd.paint_uniform_color([1, 0, 0]) # 初始化所有颜色为红色
# 定义非线性函数，这里假设是一个二次曲面
def func(x, a, b, c, d, e, f):
return a * x[0]**2 + b * x[1]**2 + c * x[0] * x[1] + d * x[0] + e * x[1] + f
def f(x, y):
return popt[0]*x**2 +popt[1]*y**2 +popt[2]* x*y +popt[3]*x + popt[4]*y +popt[5]
# 定义曲面的梯度函数，即一阶偏导数
def gradient(f, x, y):
# 使用中心差分法近似求导 #参考https://cloud.tencent.com/developer/article/1685164
h = 1e-6 # 差分步长，可以根据精度要求调整
df_dx = (f(x + h, y) - f(x - h, y)) / (2 * h) # 对x求偏导
df_dy = (f(x, y + h) - f(x, y - h)) / (2 * h) # 对y求偏导
return df_dx, df_dy
# 定义曲面的曲率函数，即二阶偏导数
def curvature(f, x, y):
# 使用中心差分法近似求导
h = 1e-6 # 差分步长，可以根据精度要求调整
d2f_dx2 = (f(x + h, y) - 2 * f(x, y) + f(x - h, y)) / (h ** 2) # 对x求二阶偏导
d2f_dy2 = (f(x, y + h) - 2 * f(x, y) + f(x, y - h)) / (h ** 2) # 对y求二阶偏导
d2f_dxdy = (f(x + h, y + h) - f(x + h, y - h) - f(x - h, y + h) + f(x - h, y - h)) / (4 * h ** 2) # 对xy求混合偏导
# 根据公式计算高斯曲率K和平均曲率H
df_dx, df_dy = gradient(f, x, y) # 调用梯度函数求一阶偏导
E = 1 + df_dx ** 2
F = df_dx * df_dy
G = 1 + df_dy ** 2
L = d2f_dx2 / np.sqrt(1 + df_dx ** 2 + df_dy ** 2) #np.sqrt()表示开方
M = d2f_dxdy / np.sqrt(1 + df_dx ** 2 + df_dy ** 2)
N = d2f_dy2 / np.sqrt(1 + df_dx ** 2 + df_dy ** 2)
K = (L * N - M ** 2) / (E * G - F ** 2) # 高斯曲率
H = (E * N + G * L - 2 * F * M) / (2 * (E * G - F ** 2)) # 平均曲率
return K, H
curvatures = []
for i in range(num_points):
k, idx, _ = kdtree.search_radius_vector_3d(cloud.points[i], radius) #返回邻域点的个数和索引
neighbors = points[idx] #数组形式为[[x1,y1,z1],[x2,y2,z2],...]
#print(k)
Y = neighbors[:, 2] # 因变量
X = neighbors[:, [0,1]] # 自变量 [[2,3],[1,1],[8,9],[11,12],[4,5],[8,9]] 6*2
popt, pcov = curve_fit(func, xdata=X.T,ydata= Y)
x = cloud.points[i][0] # 某一点的x坐标
y = cloud.points[i][1] # 某一点的y坐标
K, H = curvature(f, x, y) # 计算该点的曲率
curvatures.append([K,H])
print(curvatures)
for i in range(len(curvatures)):
if -0.05<curvatures[i][0] < 0.05 and -0.05<curvatures[i][1] <0.05: #平坦
np.asarray(pcd.colors)[i] = [0, 0, 0]#黑
elif -0.05<curvatures[i][0] < 0.05 and curvatures[i][1] >0.05: #凸
np.asarray(pcd.colors)[i] = [1, 0, 0]#红
elif -0.05<curvatures[i][0] < 0.05 and -0.05<curvatures[i][1] <0.05: #凹
np.asarray(pcd.colors)[i] = [0, 1, 0]#绿
elif curvatures[i][0] < -0.05 and curvatures[i][1] >0.05: #鞍形脊 大部分凸，少部分凹
np.asarray(pcd.colors)[i] = [0, 0, 1]#蓝
elif curvatures[i][0] < -0.05 and curvatures[i][1] <-0.05: #鞍形谷 大部分凹，少部分凸
np.asarray(pcd.colors)[i] = [0, 1, 1]#青
elif curvatures[i][0] > 0.05 and curvatures[i][1] >0.05: #峰
np.asarray(pcd.colors)[i] = [1, 0, 1]#紫
elif curvatures[i][0] > 0.05 and curvatures[i][1] <-0.05: #阱
np.asarray(pcd.colors)[i] = [1, 1, 0]#黄
#显示点云
o3d.visualization.draw_geometries([pcd])结果：
结果出奇的好，每个点都进行了划分，比想法1好太多了。这里暂时用兔子点云测试，到时候创造一些平面点云再来测试一下。
总结
学习东西都不是一蹴而就的，果然还是得一步一步脚踏实地地学才学的明白。chatgpt是个好东西，只有你也会点东西时，它才会回答的正确，不能轻信之。
未完成：
ps:1、兔子点云pcd读取
2、创建平面点云
3、返回面积、深度信息