基于色彩融合和3D功能的自动苹果识别

Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking


研究背景:农业机器人在果园复杂环境中需具备良好感知与语义信息处理能力以实现高效采摘,水果识别研究向跨学科发展,3D深度信息有助于物体识别,但现有2D识别技术缺乏空间结构信息,3D点云研究在多方面仍有不足

研究内容:

1.提出改进的3D描述符(Color-FPFH),融合色彩特征和三维几何特征,以全面描述物体特征并增强鲁棒性

2.细分分类类别为苹果、枝条和叶类,丰富系统的感知维度

3.构建基于支持向量机(SVM)的分类器,通过基因算法(GA)优化,利用苹果、枝条、叶类三类数据训练,实现苹果的自动化识别

研究思路:

首先针对机器人水果采摘中苹果识别的关键需求,为提升机器人在3D空间的识别与感知能力,从预处理的点云中提取融合色彩和三维几何特征的改进3D描述符(Color-FPFH)

接着,确定苹果、枝条、叶类的细分分类体系,基于支持向量机分类器(SVM),采用基因算法对其进行优化,利用三类数据开展训练

细分点云:

区域生长的过程(像滚雪球一样扩区域)

选种子:先从所有没分类的点里选一个点当"种子",放到种子集合里

找邻居并判断:对种子的邻居点先看色差,色差小于阈值,就认定是一种类别,再看距离,如果和种子的距离大于阈值,就把这个邻居点当成新的种子(继续滚雪球扩大)

循环直到分完:一直重复选种子、扩区域的操作,直到所有点都分类(如图(b)和(c))


3D特征计算

要区分苹果树的果实、枝条、叶子,光靠之前的点云细分还不够,得提取更具代表性的"特征",3D特征计算就是既看颜色,也看形状

两类3D描述符(特征提取的方法)

本地描述符:比如PFH、FPFH这些,是从物体点云里的关键点(比如苹果的边缘点、枝条的分叉点)提取特征,适合"识别单个物体"

全局描述符:比如VFH、ESF这些,是从整个物体点云里提取特征,适合"匹配整体物体"

改进的特征提取:颜色+几何双管齐下

颜色特征计算(RGB+HSI)

HSI是"色调、饱和度、强度",它更符合人眼对颜色的感知,而且抗光照变化能力强

一共提取6个颜色组件(RGB三个+HSI三个),把每个点的颜色信息描述清楚

3D几何特征计算(以FPFH为例)

FPFH是用来描述几何形状的,它的思路是:

先看一个点和它周围邻居点的空间差异,通过定义局部坐标系,计算几个角度和距离,把这些差异变成"多维直方图",最终得到33维的几何特征

最终的Color-FPFH描述符

把前面的6维颜色特征和33维FPFH几何特征合并,就得到了39维的Color-FPFH描述符,相当于给每个点云数据贴一个"颜色+形状"的综合标签,用来训练分类器,精准识别苹果、枝条、叶子

3D核心体现在:它描述的是点在三维空间里的真实位置和形状关系

1.几何特征计算(FPFH)是"3D专属",比如看苹果的一个点,FPFH不只是看"这个点周围有没有其他点",而是看这些邻居点在三维空间里的分布

2.点云本身就是3D数据:整个分析的基础"点云",不是普通图片(只有长和宽),而是由无数个带X、Y、Z三维坐标点组成的

基于GA的优化支持向量分类器

SVM(支持向量机)

SVM是个分类工具,把不同的数据隔开,它的分类准确性高,而且不容易学傻,但参数很难选,比如"惩罚参数c"和"内核参数g",这俩参数选得好不好直接影响分类结果

在看GA(遗传算法)

GA可以理解成"模拟生物进化的智能搜索方法",它生成一堆候选参数,然后通过选择、交叉、变异三个操作,不断筛选出更优的参数,直到找到最优的

相关推荐
Highcharts.js4 小时前
使用 Highcharts 3D图表入门
3d·highcharts·使用文档·3d图表·交互图表·三维图表·3d 可视化
O***p6045 小时前
C++在游戏中的Ogre3D
游戏·3d·ogre
sdjnled2295 小时前
山东裸眼3D立体LED显示屏专业服务商
人工智能·3d
徒慕风流5 小时前
GeoSight:基于 Open3D 与 PySide6 的参数化 3D 模型处理与实时点云监控工具
计算机视觉·3d·信号处理
三条猫1 天前
将3D CAD 模型结构树转换为图结构,用于训练CAD AI的思路
人工智能·3d·ai·cad·模型训练·图结构·结构树
二川bro1 天前
第59节:常见问题汇编 - 60个典型问题解答
javascript·3d·threejs
zhangfeng11332 天前
aigc 从2d 到 3d的形式转变,李飞飞在介绍WorldLabs的Marble平台,会围绕“空间智能“的核心理念,自动驾驶就是2d形式
3d·自动驾驶·aigc
da_vinci_x3 天前
PS 3D Viewer (Beta):概念美术的降维打击,白模直接在PS里转光打影出5张大片
人工智能·游戏·3d·prompt·aigc·材质·游戏美术
GISer_Jing3 天前
3D Cesium渲染架剖析
javascript·3d·webgl
背影疾风3 天前
基于深度学习的3D点云特征提取方法梳理
人工智能·深度学习·3d·自动驾驶