基于色彩融合和3D功能的自动苹果识别

Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking


研究背景:农业机器人在果园复杂环境中需具备良好感知与语义信息处理能力以实现高效采摘,水果识别研究向跨学科发展,3D深度信息有助于物体识别,但现有2D识别技术缺乏空间结构信息,3D点云研究在多方面仍有不足

研究内容:

1.提出改进的3D描述符(Color-FPFH),融合色彩特征和三维几何特征,以全面描述物体特征并增强鲁棒性

2.细分分类类别为苹果、枝条和叶类,丰富系统的感知维度

3.构建基于支持向量机(SVM)的分类器,通过基因算法(GA)优化,利用苹果、枝条、叶类三类数据训练,实现苹果的自动化识别

研究思路:

首先针对机器人水果采摘中苹果识别的关键需求,为提升机器人在3D空间的识别与感知能力,从预处理的点云中提取融合色彩和三维几何特征的改进3D描述符(Color-FPFH)

接着,确定苹果、枝条、叶类的细分分类体系,基于支持向量机分类器(SVM),采用基因算法对其进行优化,利用三类数据开展训练

细分点云:

区域生长的过程(像滚雪球一样扩区域)

选种子:先从所有没分类的点里选一个点当"种子",放到种子集合里

找邻居并判断:对种子的邻居点先看色差,色差小于阈值,就认定是一种类别,再看距离,如果和种子的距离大于阈值,就把这个邻居点当成新的种子(继续滚雪球扩大)

循环直到分完:一直重复选种子、扩区域的操作,直到所有点都分类(如图(b)和(c))


3D特征计算

要区分苹果树的果实、枝条、叶子,光靠之前的点云细分还不够,得提取更具代表性的"特征",3D特征计算就是既看颜色,也看形状

两类3D描述符(特征提取的方法)

本地描述符:比如PFH、FPFH这些,是从物体点云里的关键点(比如苹果的边缘点、枝条的分叉点)提取特征,适合"识别单个物体"

全局描述符:比如VFH、ESF这些,是从整个物体点云里提取特征,适合"匹配整体物体"

改进的特征提取:颜色+几何双管齐下

颜色特征计算(RGB+HSI)

HSI是"色调、饱和度、强度",它更符合人眼对颜色的感知,而且抗光照变化能力强

一共提取6个颜色组件(RGB三个+HSI三个),把每个点的颜色信息描述清楚

3D几何特征计算(以FPFH为例)

FPFH是用来描述几何形状的,它的思路是:

先看一个点和它周围邻居点的空间差异,通过定义局部坐标系,计算几个角度和距离,把这些差异变成"多维直方图",最终得到33维的几何特征

最终的Color-FPFH描述符

把前面的6维颜色特征和33维FPFH几何特征合并,就得到了39维的Color-FPFH描述符,相当于给每个点云数据贴一个"颜色+形状"的综合标签,用来训练分类器,精准识别苹果、枝条、叶子

3D核心体现在:它描述的是点在三维空间里的真实位置和形状关系

1.几何特征计算(FPFH)是"3D专属",比如看苹果的一个点,FPFH不只是看"这个点周围有没有其他点",而是看这些邻居点在三维空间里的分布

2.点云本身就是3D数据:整个分析的基础"点云",不是普通图片(只有长和宽),而是由无数个带X、Y、Z三维坐标点组成的

基于GA的优化支持向量分类器

SVM(支持向量机)

SVM是个分类工具,把不同的数据隔开,它的分类准确性高,而且不容易学傻,但参数很难选,比如"惩罚参数c"和"内核参数g",这俩参数选得好不好直接影响分类结果

在看GA(遗传算法)

GA可以理解成"模拟生物进化的智能搜索方法",它生成一堆候选参数,然后通过选择、交叉、变异三个操作,不断筛选出更优的参数,直到找到最优的

相关推荐
CG_MAGIC2 小时前
云渲染时能否关机或断网?
3d·云渲染·建模教程·渲云渲染·3d软件
拾荒的小海螺3 小时前
开源项目:Three.js 构建 3D 世界的工具库
javascript·3d·开源
gihigo19989 小时前
使用MATLAB绘制3D心形图和玫瑰花图案
开发语言·matlab·3d
zl_vslam10 小时前
SLAM中的非线性优-3D图优化之地平面约束(十五)
人工智能·算法·计算机视觉·3d
STCNXPARM10 小时前
Android14显示系统 - 开源图形库Mesa3d
3d·开源·mesa3d·android图形库·opengl-es
杀生丸学AI10 小时前
【平面重建】3D高斯平面:混合2D/3D光场重建(NeurIPS2025)
人工智能·平面·3d·大模型·aigc·高斯泼溅·空间智能
threelab12 小时前
Merge3D 三维引擎中 GeoJSON 数据加载的整体设计
android·3d
徐1113 小时前
无图纸定制修复汽车外饰?3DeVOK MT+QUICKSURFACE逆向设计解决方案
3d·汽车·机器翻译
3DVisionary16 小时前
全尺寸检测+色谱图分析:蓝光3D扫描赋能路由器注塑品质管控
3d·智能路由器·质量控制·注塑检测·蓝光3d扫描·全尺寸检测·新拓三维
DisonTangor1 天前
UltraShape 1.0: 高保真三维形状生成:基于可扩展几何优化
人工智能·3d·开源·aigc