基于色彩融合和3D功能的自动苹果识别

Automatic apple recognition based on the fusion of color and 3D feature for robotic fruit picking


研究背景:农业机器人在果园复杂环境中需具备良好感知与语义信息处理能力以实现高效采摘,水果识别研究向跨学科发展,3D深度信息有助于物体识别,但现有2D识别技术缺乏空间结构信息,3D点云研究在多方面仍有不足

研究内容:

1.提出改进的3D描述符(Color-FPFH),融合色彩特征和三维几何特征,以全面描述物体特征并增强鲁棒性

2.细分分类类别为苹果、枝条和叶类,丰富系统的感知维度

3.构建基于支持向量机(SVM)的分类器,通过基因算法(GA)优化,利用苹果、枝条、叶类三类数据训练,实现苹果的自动化识别

研究思路:

首先针对机器人水果采摘中苹果识别的关键需求,为提升机器人在3D空间的识别与感知能力,从预处理的点云中提取融合色彩和三维几何特征的改进3D描述符(Color-FPFH)

接着,确定苹果、枝条、叶类的细分分类体系,基于支持向量机分类器(SVM),采用基因算法对其进行优化,利用三类数据开展训练

细分点云:

区域生长的过程(像滚雪球一样扩区域)

选种子:先从所有没分类的点里选一个点当"种子",放到种子集合里

找邻居并判断:对种子的邻居点先看色差,色差小于阈值,就认定是一种类别,再看距离,如果和种子的距离大于阈值,就把这个邻居点当成新的种子(继续滚雪球扩大)

循环直到分完:一直重复选种子、扩区域的操作,直到所有点都分类(如图(b)和(c))


3D特征计算

要区分苹果树的果实、枝条、叶子,光靠之前的点云细分还不够,得提取更具代表性的"特征",3D特征计算就是既看颜色,也看形状

两类3D描述符(特征提取的方法)

本地描述符:比如PFH、FPFH这些,是从物体点云里的关键点(比如苹果的边缘点、枝条的分叉点)提取特征,适合"识别单个物体"

全局描述符:比如VFH、ESF这些,是从整个物体点云里提取特征,适合"匹配整体物体"

改进的特征提取:颜色+几何双管齐下

颜色特征计算(RGB+HSI)

HSI是"色调、饱和度、强度",它更符合人眼对颜色的感知,而且抗光照变化能力强

一共提取6个颜色组件(RGB三个+HSI三个),把每个点的颜色信息描述清楚

3D几何特征计算(以FPFH为例)

FPFH是用来描述几何形状的,它的思路是:

先看一个点和它周围邻居点的空间差异,通过定义局部坐标系,计算几个角度和距离,把这些差异变成"多维直方图",最终得到33维的几何特征

最终的Color-FPFH描述符

把前面的6维颜色特征和33维FPFH几何特征合并,就得到了39维的Color-FPFH描述符,相当于给每个点云数据贴一个"颜色+形状"的综合标签,用来训练分类器,精准识别苹果、枝条、叶子

3D核心体现在:它描述的是点在三维空间里的真实位置和形状关系

1.几何特征计算(FPFH)是"3D专属",比如看苹果的一个点,FPFH不只是看"这个点周围有没有其他点",而是看这些邻居点在三维空间里的分布

2.点云本身就是3D数据:整个分析的基础"点云",不是普通图片(只有长和宽),而是由无数个带X、Y、Z三维坐标点组成的

基于GA的优化支持向量分类器

SVM(支持向量机)

SVM是个分类工具,把不同的数据隔开,它的分类准确性高,而且不容易学傻,但参数很难选,比如"惩罚参数c"和"内核参数g",这俩参数选得好不好直接影响分类结果

在看GA(遗传算法)

GA可以理解成"模拟生物进化的智能搜索方法",它生成一堆候选参数,然后通过选择、交叉、变异三个操作,不断筛选出更优的参数,直到找到最优的

相关推荐
多恩Stone4 天前
【C++入门扫盲1】C++ 与 Python:类型、编译器/解释器与 CPU 的关系
开发语言·c++·人工智能·python·算法·3d·aigc
多恩Stone5 天前
【3D-AICG 系列-15】Trellis 2 的 O-voxel Shape: Flexible Dual Grid 代码与论文对应
人工智能·python·算法·3d·aigc
在下胡三汉5 天前
为什么“资产土地”标准化主资产的 glTF、glb格式模型,为什么非常流行
3d
2401_863801465 天前
3DTiles(.b3dm,i3dm,cmpt) 数据转换fbx转obj转max转su,cesium格式模型转换
3d
3Dmax效果图渲染研习社5 天前
2026年3ds Max云渲染平台哪个好?
3d
思茂信息5 天前
基于CST 3D Combined功能的以太网口RE仿真
开发语言·javascript·单片机·嵌入式硬件·matlab·3d
CG_MAGIC5 天前
Maya 角色绑定:控制器搭建与 IK/FK 切换
3d·贴图·maya·渲云渲染
PHOSKEY6 天前
光子精密3D工业相机陶瓷基片平面度检测!赋能电子制造质控升级
平面·3d·3d工业相机
twe77582586 天前
用3D动画揭示技术路线的多样性
科技·3d·制造·动画