论文阅读【PCT: Point Cloud Transformer】

PCT: Point Cloud Transforme

• • 难点
  • 特点
  • introduction
  • 主要框架与细节
  • • [Input Embedding Module](#Input Embedding Module)
    • 模型输入
    • Offset-Attention(encoder中的一层)
    • 评估
    • code

论文地址：PCT: Point Cloud Transformer

发表于：2021年清华大学发表于CVMJ的论文

本文的主要贡献总结如下：

1、提出了一种新的基于转换器的点云学习框架PCT，该框架非常适合于非结构化、无序的不规则域点云数据。

2、提出了使用隐式拉普拉斯算子和归一化细化的偏移注意（offset-attention）？，与Transformer中的原始自注意（self-attention）模块相比，它具有固有的置换不变性，更适合点云学习。

3、大量的实验表明，具有显式局部上下文增强的PCT在形状分类、零件分割和正常估计任务上达到了最先进的性能。

难点

1. 点的无序性

特点

1. transformer的使用
2. 局部特征的注意

introduction

相比自然语言处理的几点改进处：

1. 基于坐标的输入嵌入模块

   融合了原始的位置编码和输入的位置编码到基于坐标的输入嵌入模块，因为每个点的位置唯一，所以基于这个模块生成独一无二的编码特征来代表空间位置。

2. 优化了的偏移注意力模块

   基于原始注意力机制的优化

   改进点: 从注意特征更改为注意input of self-attention module 和 attention feature之间的偏移

   优势：

   (1) 通过刚性变换，同一物体的绝对坐标可以完全不同。因此，相对坐标通常更具有鲁棒性【绝对坐标可以不同，相对坐标更具参考价值】

   (2) 拉普拉斯矩阵（度矩阵与邻接矩阵之间的偏移量）被证明是非常有效的图卷积学习[3]【Q:通过图卷积来论证这一观点存疑？】

   在处理中将每行的和缩放为1(与原处理同样的操作)

3. 邻近嵌入模块

   考虑局部点之间的注意力模块来关注局部几何特征

贡献

1. 提出基于transformer的PCT的架构，针对处理不规则领域中无结构的、无序的点云
2. 提出offset-attention(带有拉普拉斯算子)和归一化增强，比原始的self-attention更适合点云。
3. 大量的实验表明，具有显式局部上下文增强的PCT在形状分类、部分分割和正常估计任务上取得了最先进的性能。

主要框架与细节

主要的框架与原始的transformer有相同的设计理念，只有位置编码被丢弃，输入特征(即点的坐标)已经包含了位置信息。

encoder中过程公式如下，Fe为 Input Embedding Module模块输出维度为128。encoder输出的特征Fo经过MA(Max-pooling和Average-pooling)提取全局有效特征Fg

对于分割的任务的操作：

整合了Fo和Fg, 经过结果LBR(Linear, BatchNorm and ReLU layers)和dropout操作之后输出各点类别

Input Embedding Module

两个级联的LBR(Linear, BatchNorm and ReLU layers)，模块输出维度de=128

模型输入

点云特征维度N*d, N为点数，d为点的特征数，论文中为3, 可以自行调整

Offset-Attention(encoder中的一层)

Neighbor Embedding Module 组成:2个LBR+2个SG, SG作用逐步增大感受野,类似于CNN的作用, SG通过使用欧氏距离的KNN找到采样点的局部邻居团簇,整合特征.

采样方法使用farthest point sampling (FPS) algorithm,做到降采样的效果

SG该部分整体计算过程

评估

分割功能的模型测试在S3DIS数据集上, 为室内数据集,共分为13类

code

模型训练代码-其他人补充
官方作者发布