基于色彩融合和3D功能的自动苹果识别

Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking


研究背景:农业机器人在果园复杂环境中需具备良好感知与语义信息处理能力以实现高效采摘,水果识别研究向跨学科发展,3D深度信息有助于物体识别,但现有2D识别技术缺乏空间结构信息,3D点云研究在多方面仍有不足

研究内容:

1.提出改进的3D描述符(Color-FPFH),融合色彩特征和三维几何特征,以全面描述物体特征并增强鲁棒性

2.细分分类类别为苹果、枝条和叶类,丰富系统的感知维度

3.构建基于支持向量机(SVM)的分类器,通过基因算法(GA)优化,利用苹果、枝条、叶类三类数据训练,实现苹果的自动化识别

研究思路:

首先针对机器人水果采摘中苹果识别的关键需求,为提升机器人在3D空间的识别与感知能力,从预处理的点云中提取融合色彩和三维几何特征的改进3D描述符(Color-FPFH)

接着,确定苹果、枝条、叶类的细分分类体系,基于支持向量机分类器(SVM),采用基因算法对其进行优化,利用三类数据开展训练

细分点云:

区域生长的过程(像滚雪球一样扩区域)

选种子:先从所有没分类的点里选一个点当"种子",放到种子集合里

找邻居并判断:对种子的邻居点先看色差,色差小于阈值,就认定是一种类别,再看距离,如果和种子的距离大于阈值,就把这个邻居点当成新的种子(继续滚雪球扩大)

循环直到分完:一直重复选种子、扩区域的操作,直到所有点都分类(如图(b)和(c))


3D特征计算

要区分苹果树的果实、枝条、叶子,光靠之前的点云细分还不够,得提取更具代表性的"特征",3D特征计算就是既看颜色,也看形状

两类3D描述符(特征提取的方法)

本地描述符:比如PFH、FPFH这些,是从物体点云里的关键点(比如苹果的边缘点、枝条的分叉点)提取特征,适合"识别单个物体"

全局描述符:比如VFH、ESF这些,是从整个物体点云里提取特征,适合"匹配整体物体"

改进的特征提取:颜色+几何双管齐下

颜色特征计算(RGB+HSI)

HSI是"色调、饱和度、强度",它更符合人眼对颜色的感知,而且抗光照变化能力强

一共提取6个颜色组件(RGB三个+HSI三个),把每个点的颜色信息描述清楚

3D几何特征计算(以FPFH为例)

FPFH是用来描述几何形状的,它的思路是:

先看一个点和它周围邻居点的空间差异,通过定义局部坐标系,计算几个角度和距离,把这些差异变成"多维直方图",最终得到33维的几何特征

最终的Color-FPFH描述符

把前面的6维颜色特征和33维FPFH几何特征合并,就得到了39维的Color-FPFH描述符,相当于给每个点云数据贴一个"颜色+形状"的综合标签,用来训练分类器,精准识别苹果、枝条、叶子

3D核心体现在:它描述的是点在三维空间里的真实位置和形状关系

1.几何特征计算(FPFH)是"3D专属",比如看苹果的一个点,FPFH不只是看"这个点周围有没有其他点",而是看这些邻居点在三维空间里的分布

2.点云本身就是3D数据:整个分析的基础"点云",不是普通图片(只有长和宽),而是由无数个带X、Y、Z三维坐标点组成的

基于GA的优化支持向量分类器

SVM(支持向量机)

SVM是个分类工具,把不同的数据隔开,它的分类准确性高,而且不容易学傻,但参数很难选,比如"惩罚参数c"和"内核参数g",这俩参数选得好不好直接影响分类结果

在看GA(遗传算法)

GA可以理解成"模拟生物进化的智能搜索方法",它生成一堆候选参数,然后通过选择、交叉、变异三个操作,不断筛选出更优的参数,直到找到最优的

相关推荐
多恩Stone12 小时前
【3D AICG 系列-6】OmniPart 训练流程梳理
人工智能·pytorch·算法·3d·aigc
晚霞的不甘1 天前
揭秘 CANN 内存管理:如何让大模型在小设备上“轻装上阵”?
前端·数据库·经验分享·flutter·3d
哈__1 天前
CANN加速3D目标检测推理:点云处理与特征金字塔优化
目标检测·3d·目标跟踪
心疼你的一切2 天前
三维创世:CANN加速的实时3D内容生成
数据仓库·深度学习·3d·aigc·cann
3DVisionary2 天前
掌控发动机“心脏”精度:蓝光3D扫描在凸轮轴全尺寸检测中的应用
3d·图形渲染·汽车发动机·精密测量·蓝光3d扫描·凸轮轴检测·形位公差
coder攻城狮2 天前
VTK系列1:在屏幕绘制多边形
c++·3d
PHOSKEY2 天前
3D工业相机如何“读透”每一个字符?快速识别、高精度3D测量
数码相机·3d
XX風2 天前
7.2 harris 3d
3d
多恩Stone2 天前
【3D-AICG 系列-3】Trellis 2 的O-voxel (下) Material: Volumetric Surface Attributes
人工智能·3d·aigc
多恩Stone2 天前
【3D-AICG 系列-1】Trellis v1 和 Trellis v2 的区别和改进
人工智能·pytorch·python·算法·3d·aigc