3D点云的深度学习网络分类(按照作用分类)

1. 3D目标检测(Object Detection)

用于在点云中识别和定位目标,输出3D边界框(Bounding Box)

🔹 方法类别:

  • 单阶段(Single-stage):直接预测3D目标位置,速度快但精度较低。
  • 双阶段(Two-stage):先生成候选区域,再进行精细分类,精度高但计算量大。

🔹 代表模型:

  • VoxelNet (2018):将点云转换为体素,使用3D CNN进行检测。
  • PointRCNN (2019):基于PointNet++,使用Region Proposal生成3D候选框。
  • PV-RCNN (2020):结合体素和点特征,改进目标定位精度。
  • VoteNet (2019):基于Hough Voting,将点投票给目标中心。
  • CenterPoint (2021):基于BEV(鸟瞰图)的方法,适用于自动驾驶。

适用场景

  • 自动驾驶(识别车辆、行人、障碍物)
  • 机器人导航(目标检测)
  • 农业(检测果实、树木)

2. 3D语义分割(Semantic Segmentation)

用于为每个点分配类别标签,适用于场景理解。

🔹 方法类别:

  • 体素化(Voxel-based):如 MinkowskiNet、SparseConvNet。
  • 基于点(Point-based):如 PointNet++、Point Transformer。
  • 基于图(Graph-based):如 GCN、DGCNN。

🔹 代表模型:

  • PointNet (2017):直接处理点云,适用于简单结构。
  • PointNet++ (2017):引入局部邻域聚合,提高细节捕捉能力。
  • RandLA-Net (2020):使用随机点采样,提高计算效率。
  • KPConv (2019):使用可变形卷积处理点云,提高表达能力。
  • Point Transformer (2021):基于Transformer,提高长距离依赖建模能力。

适用场景

  • 室内场景理解(如 S3DIS 数据集)
  • 地形和城市建模(如 Semantic3D)
  • 果树、植物点云分割(如苹果树枝、叶片、果实)

3. 3D实例分割(Instance Segmentation)

用于区分不同个体的点云,即同类别不同实例要区分开,例如不同的树枝或不同的果实。

🔹 代表模型:

  • SGPN (2018):基于PointNet的端到端实例分割方法。
  • 3D-MPA (2020):结合多尺度特征学习进行实例分割。
  • PointGroup (2020):利用点的聚合特性,提高实例分割精度。
  • DyCo3D (2021):动态卷积提升实例分割能力。

适用场景

  • 自动驾驶(分割不同车辆/行人)
  • 工业检测(区分不同零件)
  • 果树点云(区分不同树枝或果实)

4. 3D关键点检测(Keypoint Detection)

用于检测点云中的重要特征点,例如物体的边缘、拐角、接触点等。

🔹 代表模型:

  • Harris3D (1999):经典的3D关键点检测算法。
  • ISS Keypoint (2009):基于点密度稳定性检测关键点。
  • KPConv (2019):结合可变形卷积进行关键点检测。
  • SuperPoint3D (2021):基于深度学习的端到端关键点检测方法。

适用场景

  • 3D物体识别(如机器人抓取)
  • 3D配准(点云拼接)
  • 果树修剪(检测关键生长点)

5. 3D配准(Registration)

用于对齐不同视角或不同时间采集的点云数据,适用于3D重建和变化检测。

🔹 方法类别:

  • 基于ICP(迭代最近点):如 ICP、Go-ICP。
  • 基于特征匹配:如 FPFH、SHOT。
  • 基于深度学习:如 DCP、PRNet。

🔹 代表模型:

  • ICP (1992):最经典的点云配准方法,计算最近邻并迭代优化。
  • Go-ICP (2014):改进ICP,提高配准精度。
  • DCP (Deep Closest Point, 2019):使用深度学习进行点云配准。
  • FMR (Feature Matching Registration, 2020):基于特征匹配进行3D点云对齐。

适用场景

  • 多视角点云合并(如无人机+地面激光扫描融合)
  • 变化检测(如修剪前后点云对比)
  • 医学图像配准

6. 3D重建(Reconstruction)

用于从点云中生成完整的3D模型,适用于缺失数据补全。

🔹 代表模型:

  • Poisson Surface Reconstruction (PSR, 2006):基于泊松方程的曲面重建方法。
  • AtlasNet (2018):基于深度学习的3D形状重建。
  • DeepSDF (2019):使用隐式表面表示重建3D结构。
  • NeRF (2020):基于神经辐射场的3D重建方法。

适用场景

  • 文化遗产保护(3D扫描文物重建)
  • 医学建模(如骨骼3D重建)
  • 农业(完整果树结构重建)

总结:作用分类与代表模型

任务类别 用途 代表模型
目标检测 检测目标,输出3D框 PointRCNN, PV-RCNN, VoteNet
语义分割 给每个点分类 PointNet++, KPConv, Point Transformer
实例分割 区分不同实例 SGPN, 3D-MPA, PointGroup
关键点检测 检测重要特征点 ISS Keypoint, KPConv, SuperPoint3D
点云配准 3D点云对齐 ICP, DCP, FMR
3D重建 生成完整3D模型 Poisson, DeepSDF, NeRF
相关推荐
边缘常驻民13 分钟前
PyTorch深度学习入门记录3
人工智能·pytorch·深度学习
a1504631 小时前
人工智能——图像梯度处理、边缘检测、绘制图像轮廓、凸包特征检测
人工智能·深度学习·计算机视觉
dzj20212 小时前
Unity是如何把3D场景显示到屏幕上的——Unity的渲染过程
3d·unity·游戏引擎·渲染·图形学
格林威5 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现卫星图像识别(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
诗酒当趁年华7 小时前
【NLP实践】二、自训练数据实现中文文本分类并提供RestfulAPI服务
人工智能·自然语言处理·分类
小赖同学啊16 小时前
GIS地理信息系统建设:高精度3D建模
3d
码字的字节18 小时前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄121318 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
碳酸的唐18 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能18 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶