Point Cloud Transformer详解

PCT: Point Cloud Transformer

PCT

Transformer

背景及意义

利用点云理解环境语义非常重要,有很多应用

但是点云数据是无序且无结构的,难以设计网络结构

应用于自然语言处理的Transformer结构对于理解无序数据有天然的优势

框架

PCT的整体框架如下图所示,Encoder部分作为backbone用来提取特征便于后续的不同任务进行处理。依据分类,分割等任务需要修改输出网络的部分

Input Embedding

因为transformer是处理自然语言的结构,而单词与字符并不能作为神经网络的输入,所以需要将输入数据转换为可以处理的向量,这个过程就是input embedding

通过input embedding,模型能够捕捉单词间的语义关系和上下文信息,不同的选择可能有不同的效果。

有几种常见的 input embedding 方法,其中一些包括:

  1. Word Embeddings(词嵌入): 将单词映射到连续的向量空间,如Word2Vec、GloVe和FastText。这些模型通过训练学到的嵌入可以捕捉单词的语义关系。

  2. Character Embeddings(字符嵌入): 将输入文本的字符映射为向量。这对于处理未知词汇或特定领域的术语很有用,因为它可以捕捉字符级别的信息。

  3. BERT(Bidirectional Encoder Representations from Transformers): 这是一种基于 Transformer 模型的预训练方法,它可以为整个输入序列生成上下文感知的嵌入表示。BERT 能够更好地理解词汇之间的关系,因为它是双向的。

  4. ELMo(Embeddings from Language Models): 类似于 BERT,ELMo 也是一个基于上下文感知的嵌入方法,但它使用了双向 LSTM(长短时记忆网络)。

  5. Doc2Vec: 将整个文档映射到向量表示。它与词嵌入不同,因为它考虑了整个文档的上下文。

这些方法可以根据任务和数据集的特性选择,有时候也会组合使用,以获得更好的性能。

Attention

Attention 网络是一种深度学习中常用的机制,用于加强模型对输入中不同部分的关注程度。这对于处理长序列或对不同部分的信息赋予不同权重的任务特别有用。

在自然语言处理中,Transformer 模型引入了 Self-Attention 机制,其中每个输入位置都可以注意到序列中其他位置的信息。这种机制允许模型在处理输入时动态地调整注意力,更好地捕捉上下文关系。

Attention 网络的核心思想是通过计算权重,为输入序列的不同部分分配不同的注意力。这些权重是由模型学习的,因此模型可以自适应地强调与任务相关的信息。

总的来说,Attention 网络提供了一种有效的方式,使模型能够集中精力处理输入的相关部分,从而在各种任务中取得良好的性能。

YouTube

MA-Pool

最大池与平均池的拼接

LBR

LBR层就是 Linear, BatchNorm 和ReLU layers的组合

LBRD

相比于LBR多了一层dropout

PCT不同版本

PCT的实现有三个不同的版本,区别在于Input embedding层(第一个灰色层)以及Attention层(黄色层)的选择,我们依次讲解

Naive PCT

1.Input Embedding

直接使用point cloud的坐标作为输入,最多把法线考虑进去

缺点:

2.Attention Layer

直接使用Transformer原论文的注意力机制网络,具体结构如下,

当switch切换到上面时就是self-attention网络机制

SPCT(point embedding and offset-attention)

这个结构与Naive的区别在于使用了Offset-Attention网络结构,具体结构如下

当switch切换到下面时就是offset-attention网络机制

Full PCT(with neighbor embedding and offset-attention)

完整版的PCT就是结合了neighbor_embedding和offset-attention,从而达到最好的效果,neighbot-embedding的结构如下,

图片左边的部分就是neighbor-embedding的结构,两层LBR与两层SG

中间部分就是SG的模型结构

右边部分则为例子

困惑及解答

为什么transformer适合点云数据结构

为什么offset-attention会更好?

为什么neighbor-embedding会更好?

缺陷是什么?

相关推荐
Antonio9151 小时前
【图像处理】常见图像插值算法与应用
图像处理·算法·计算机视觉
CV实验室7 小时前
TIP 2025 | 哈工大&哈佛等提出 TripleMixer:攻克雨雪雾干扰的3D点云去噪网络!
人工智能·计算机视觉·3d·论文
应用市场10 小时前
OpenCV编程入门:从零开始的计算机视觉之旅
人工智能·opencv·计算机视觉
CoookeCola13 小时前
MovieNet(A holistic dataset for movie understanding) :面向电影理解的多模态综合数据集与工具链
数据仓库·人工智能·目标检测·计算机视觉·数据挖掘
应用市场15 小时前
OpenCV进阶:图像变换、增强与特征检测实战
人工智能·opencv·计算机视觉
lingchen190615 小时前
卷积神经网络中的卷积运算原理
深度学习·计算机视觉·cnn
灵遁者书籍作品15 小时前
语言的拓扑学约束公理:语言对实在的描述具有拓扑不变量——某些真理必须通过悖论、沉默或隐喻表达
人工智能·计算机视觉
Antonio91519 小时前
【图像处理】图片的前向映射与后向映射
图像处理·人工智能·计算机视觉
Python智慧行囊20 小时前
图像处理-opencv(一)
人工智能·opencv·计算机视觉
格林威1 天前
UV 紫外相机在半导体制造领域的应用
人工智能·数码相机·opencv·计算机视觉·视觉检测·制造·uv