【Point Cloud】Point Cloud Fundamentals(1)

文章目录

  • [点云基础(Point Cloud Fundamentals)](#点云基础(Point Cloud Fundamentals))
  • [1、点云数据概述(Point Cloud Data Overview)](#1、点云数据概述(Point Cloud Data Overview))
  • [2、点云应用领域与发展分析(Applications and Development of Point Clouds)](#2、点云应用领域与发展分析(Applications and Development of Point Clouds))
  • [3、点云分割任务(Point Cloud Segmentation)](#3、点云分割任务(Point Cloud Segmentation))
  • [4、点云补全任务(Point Cloud Completion)](#4、点云补全任务(Point Cloud Completion))
  • [5、点云检测与配准任务(Detection and Registration)](#5、点云检测与配准任务(Detection and Registration))
  • [6、点云数据特征提取概述与预告(Feature Extraction for Point Clouds)](#6、点云数据特征提取概述与预告(Feature Extraction for Point Clouds))
  • [补充:点云深度学习发展路线(Evolution of Point Cloud Deep Learning)](#补充:点云深度学习发展路线(Evolution of Point Cloud Deep Learning))
  • 参考

点云基础(Point Cloud Fundamentals)

text 复制代码
点云是什么
        │
        ▼
点云有哪些应用
        │
        ▼
点云有哪些经典任务
(分割、补全、检测、配准)
        │
        ▼
点云如何预处理
        │
        ▼
点云如何提取特征
        │
        ▼
点云深度学习的发展路线
        │
        ▼
PointNet → PointNet++ → DGCNN → KPConv → Point Transformer → Point Foundation Models

1、点云数据概述(Point Cloud Data Overview)

点云(Point Cloud) 是在同一空间参考系下,表达目标空间分布和表面特性的海量数据点集合。

通俗地说,如果把一张普通的 2D 照片看作是平铺在画布上的"像素网格",那么点云就是悬浮在三维空间中的"微小颗粒"。当这些颗粒足够密集时,它们就能在数字世界中重构出真实物体的立体轮廓

点云的数据来源

  • 激光雷达(LiDAR)
  • 双目视觉(Stereo Vision)
  • RGB-D 相机
  • ToF 相机
  • 三维扫描仪

点云特点

  • 无序(Unordered)
  • 稀疏(Sparse)
  • 不规则(Irregular)
  • 高维

近密原疏

飞机1

飞机2

飞机3


2、点云应用领域与发展分析(Applications and Development of Point Clouds)

DEM(Digital Elevation Model,数字高程(海拔)模型) 是一种用数字方式描述地球表面(或其他物体表面)高度信息的数据模型。简单来说,它就是一张带有高度值的三维地形地图。

自动驾驶

  • 激光雷达建图
  • 障碍物检测
  • BEV感知

机器人

  • SLAM
  • 导航
  • 抓取
  • 避障

AR/VR

  • 空间建模
  • 三维重建
  • 工业视觉
  • 三维测量
  • 缺陷检测
  • 尺寸检测

医疗

  • CT
  • MRI
  • 三维重建

数字孪生

  • 城市建模
  • BIM
  • 工厂数字化

点云的发展趋势

  • Neural Rendering
  • Gaussian Splatting
  • NeRF
  • 3D Foundation Model

无人机勘测

工厂建模,安全监测

智慧城市

点云分割,路灯

得到路灯的位置

点云分割公开数据集

点云分割


3、点云分割任务(Point Cloud Segmentation)

这是最重要的基础任务之一。

语义分割(Semantic Segmentation)

text 复制代码
PointNet
PointNet++
RandLA-Net
KPConv

实例分割(Instance Segmentation)

text 复制代码
PointGroup
SoftGroup
Mask3D

全景分割(Panoptic Segmentation)

结合:

text 复制代码
Semantic
Instance

上面一排是点云,下面一排是点云分割结果

相同的东西,用相同的颜色表示

不同的东西,用不同的颜色表示

每个点属于什么类别


4、点云补全任务(Point Cloud Completion)

现实中的点云往往存在

  • 遮挡
  • 漏扫
  • 稀疏

因此需要补全

整理来说类似 GAN 和 Unet 那种感觉(编码解码网络)


5、点云检测与配准任务(Detection and Registration)

点云目标检测(3D Object Detection)

text 复制代码
PointRCNN
PV-RCNN
SECOND
CenterPoint

点云配准(Point Cloud Registration):是指将同一场景或物体,从不同视角、不同时间或不同设备获取的两个或多个点云数据集,对齐到同一个全局坐标系下的过程。

text 复制代码
Deep Closest Point (DCP)
Predator
GeoTransformer

其实传统图像中能做的都可以在点云中实现

分割和检测最热门

配准前

配准后

配准前

配准后


6、点云数据特征提取概述与预告(Feature Extraction for Point Clouds)

点云有哪些特征?

几何特征

  • 法向量(Normal)
  • 曲率(Curvature)
  • 密度(Density)

统计特征

  • FPFH
  • PFH
  • SHOT

学习特征

  • PointNet Feature
  • EdgeConv
  • Transformer Feature

把每个点都转成一个特征

补充:点云深度学习发展路线(Evolution of Point Cloud Deep Learning)

时间 方法 核心思想
2017 PointNet 直接处理无序点集
2017 PointNet++ 引入局部邻域学习
2018 DGCNN 动态图卷积
2019 KPConv 点卷积
2020 RandLA-Net 大规模点云高效学习
2021 Point Transformer Transformer 建模点间关系
2022--2024 PointNeXt、Point-BERT、Point-MAE 大模型与自监督预训练
2025--至今 3D Foundation Models、Vision-Language-3D 多模态与基础模型融合

参考

教学视频连接:https://www.bilibili.com/video/BV1edjczQEcZ?spm_id_from=333.788.videopod.episodes\&vd_source=a2337ee1e48dbaccac1746d36aed6c99\&p=6


相关推荐
江畔柳前堤15 小时前
信号的本质——从模拟波形到AI中的数据张量
人工智能·深度学习·机器学习·计算机视觉·数据挖掘·语音识别
江畔柳前堤17 小时前
系统的本质——从LTI系统到神经网络
人工智能·深度学习·神经网络·机器学习·计算机视觉·数据挖掘·语音识别
sali-tec21 小时前
C# 基于OpenCv的视觉工作流-章98-频域滤波
图像处理·人工智能·opencv·计算机视觉
吃好睡好便好1 天前
MATLAB中图像的线性变换
开发语言·图像处理·学习·计算机视觉·matlab
GetcharZp1 天前
让照片开口说话:LivePortrait 本地部署玩法详解
人工智能·计算机视觉
cout<<jester1 天前
人脸情绪识别模型
人工智能·深度学习·计算机视觉
吃好睡好便好1 天前
MATLAB中图像的对数变换
图像处理·学习·算法·计算机视觉·matlab
szxinmai主板定制专家1 天前
驱控一体新范式:RK3576+FPGA+CODESYS工业实时AI控制架构全解
人工智能·嵌入式硬件·计算机视觉·fpga开发·架构·工业ai·驱控一体
映翰通网络2 天前
TI开发板上的边缘AI工具链:先认清OpenCV、GStreamer和TIDL
人工智能·嵌入式硬件·opencv·计算机视觉·ti