文章目录
导读
论文标题：Recipe for a General, Powerful, Scalable Graph Transformer
项目地址：https://github.com/rampasek/GraphGPS
针对现有图 Transformer 架构碎片化、缺少统一设计范式、二次方复杂度难以扩展到大图、位置 / 结构编码缺乏清晰分类体系的问题，提出一套通用模块化的图 Transformer 构建 "配方"；
通过每层内并行融合局部消息传递 MPNN 与全局注意力 的混合设计，将位置编码 PE、结构编码 SE 做局部‑全局‑相对的系统化归类，引入 Performer/BigBird 线性注意力达成 O ( N + E ) O(N+E) O(N+E)线性计算复杂度；
在保留图表达能力、实现图通用函数逼近的同时，突破传统图 Transformer 仅能处理几百节点小图的限制，在 16 套多元基准上取得优异性能，并开源 GraphGPS 工具包，为图 Transformer 提供统一实验框架与组件复用范式。
背景动机
图 Transformer（Graph Transformer, GT）是图表示学习领域的热点方向，它通过全局注意力机制缓解了传统消息传递神经网络（MPNN）的三大核心缺陷：
MPNN 是一大类 GNN 的通用范式，代表模型：GCN、GIN、GAT、GatedGCN 等。图 G = ( V , E ) G=(V,E) G=(V,E)，V节点集合，E边集合。每个节点u有特征向量 h u h_u hu，每条边 ( u , v ) (u,v) (u,v)有边特征 e u v e_{uv} euv。
MPNN 每一层做两步：消息聚合 + 节点更新 ，标准 MPNN只看邻居，信息只能沿着图上的边传播，没有办法直接和距离很远、没有边相连的节点交互。
普通 MPNN 只能和直接邻居交互；全局注意力（GT）打破图的边的限制 ：每一个节点，可以直接对图中所有其他节点做注意力计算，不管两个节点之间有没有边。
- 过平滑（Over-smoothing）：多层消息传递后节点特征趋于同质
- 过挤压（Over-squashing）：长距离信息在传递路径中被压缩丢失
- 表达力上限：标准 MPNN 的表达能力等价于 1 阶 Weisfeiler-Leman（1-WL）测试，无法区分部分非同构图
1‑WL（也叫 WL 颜色细化算法）是一种图同构启发式算法 。所有节点初始颜色由节点原始特征决定；若无节点特征，全部节点赋予同一个初始颜色。对每个节点u：收集节点u自己的颜色 + 它所有邻居的颜色，把邻居颜色排序，拼成一个元组；将这个元组映射到一个新的唯一颜色（哈希）；作为节点u的新颜色。
存在一些**结构确实不一样（非同构）**的两张图，经过 1‑WL 迭代之后，两张图节点颜色分布完全一模一样。 此时 1‑WL 分辨不出；等价的，任何标准 MPNN 也分辨不出这两张图。
但在 GraphGPS 工作之前，图 Transformer 领域存在一些核心痛点：
- 架构不统一，编码体系混乱：不同模型各自设计位置 / 结构编码方案，缺乏清晰的定义与分类，研究者难以对比和复用组件
- 计算复杂度高，无法扩展到大图 ：全连接注意力的复杂度为 O ( N 2 ) O(N^2) O(N2)，仅能处理几百个节点的小图，无法适配现实中数千甚至上万节点的图数据
- 边特征利用不充分：多数图 Transformer 仅将边特征作为注意力偏置，无法深度融合到节点表示中；两阶段架构（先 MPNN 后 Transformer）又会导致早期信息丢失
论文提出了一套构建图 Transformer 的通用 "配方"（GPS），核心贡献可总结为 5 点：
- 统一架构蓝图：首次提出 "局部消息传递 + 全局注意力" 的分层混合架构，将位置 / 结构编码、局部聚合、全局注意力三大组件模块化，支持灵活插拔替换
- 编码体系系统化 ：首次将位置编码（PE）和结构编码（SE）清晰划分为局部、全局、相对三大类，明确了各类编码的定义、作用与典型实现
MPNN 只从邻居拓扑学习，缺少两类信息：①节点在图中的空间 / 距离信息；②节点周围子图结构信息。PE/SE 就是人为注入这两类额外信号。
- 线性复杂度扩展 ：通过解耦局部边聚合与全局注意力，结合 Performer、BigBird 等线性注意力机制，实现了 O ( N + E ) O(N+E) O(N+E)的线性复杂度，可处理数千节点的大图，且证明全局注意力无需显式输入边特征
- 全面消融验证：在 4 个数据集上开展系统消融实验，量化了各组件对性能的贡献，为不同任务的模型选型提供指导
- 开源工具包：发布模块化的 GRAPHGPS 库，基于 PyG 和 GraphGym 构建，支持快速定制不同组件的图 Transformer 模型
方法框架
位置与结构编码（PE/SE）的系统化分类
论文最基础的贡献是建立了 PE/SE 的分类框架，核心区分逻辑是：PE 表征节点在图中的空间位置距离，SE 表征节点 / 图的结构相似性，二者又可按作用范围分为局部、全局、相对三个层级。
论文实证部分重点验证了全局 PE、相对 PE、局部 SE三类编码，它们对模型性能提升最显著。
为什么 MPNN 需要 PE/SE？
论文用两个经典例子证明 PE/SE 可以突破 1-WL 的表达力上限：
环形跳连图（CSL） ： G s k i p ( 11 , 2 ) G_{skip}(11,2) Gskip(11,2)和 G s k i p ( 11 , 3 ) G_{skip}(11,3) Gskip(11,3)是两个非同构图，但所有节点的度都相同，1-WL 会给所有节点赋相同颜色，MPNN 也无法区分。
- 加入全局 PE（拉普拉斯特征向量）：每个节点获得唯一的初始特征，直接区分两个图
- 加入局部 SE（随机游走对角元）：捕捉跳连长度的差异，生成不同的节点颜色
十氢化萘（Decalin）分子：分子中存在对称等价的节点对 (a,b) 和 (c,d)，1-WL 和局部 SE 都无法区分它们，导致边预测任务中 (a,d) 和 (b,d) 两条边不可区分。
- 加入相对 PE（距离编码）或全局 PE：可以区分两个节点对的位置差异，实现边的可分辨性
核心结论：MPNN 无法从图结构中自动学习到 PE/SE 包含的信息，额外引入 PE/SE 是提升模型表达力的必要手段。
GPS 层：MPNN+Transformer 的混合架构
针对 GraphTrans 等 "先 MPNN、后 Transformer" 两阶段架构的缺陷（早期多层消息传递导致过平滑，关键信息丢失），GPS 提出每层内同时融合局部聚合与全局注意力的设计：
- 每一层都并行执行一次局部 MPNN 聚合和一次全局注意力计算
- 两者输出融合后进入下一层，迭代进行局部 - 全局信息交互
- 边特征仅输入 MPNN 模块，全局注意力仅处理节点特征，以此适配线性注意力
输入 ：第 ℓ \ell ℓ层节点特征 X ℓ ∈ R N × d ℓ X^\ell \in \mathbb{R}^{N \times d_\ell} Xℓ∈RN×dℓ、边特征 E ℓ ∈ R E × d ℓ E^\ell \in \mathbb{R}^{E \times d_\ell} Eℓ∈RE×dℓ、邻接矩阵A
局部消息传递： X M ℓ + 1 , E ℓ + 1 = M P N N e ℓ ( X ℓ , E ℓ , A ) X_M^{\ell+1}, E^{\ell+1} = MPNN_e^\ell(X^\ell, E^\ell, A) XMℓ+1,Eℓ+1=MPNNeℓ(Xℓ,Eℓ,A)，仅 MPNN 模块处理边特征，完成局部邻域的信息聚合
全局注意力： X T ℓ + 1 = G l o b a l A t t n ℓ ( X ℓ ) X_T^{\ell+1} = GlobalAttn^\ell(X^\ell) XTℓ+1=GlobalAttnℓ(Xℓ)，可替换为全连接 Transformer、Performer、BigBird 等任意注意力机制
特征融合： X ℓ + 1 = M L P ℓ ( X M ℓ + 1 + X T ℓ + 1 ) X^{\ell+1} = MLP^\ell(X_M^{\ell+1} + X_T^{\ell+1}) Xℓ+1=MLPℓ(XMℓ+1+XTℓ+1)， 两路输出相加后通过 2 层 MLP 融合，生成下一层节点特征
实验分析
论文在 ZINC、PCQM4Mv2 子集、CIFAR10、MalNet-Tiny 4 个数据集上开展消融实验。
在 ZINC 数据集上，全局注意力没有带来提升 ------ 因为该任务预测分子的 logP 和合成可及性，仅依赖局部子结构，无需全局长程依赖。这说明全局注意力的价值取决于任务是否需要长程信息。
局部消息传递模块对比
移除 MPNN 会导致性能暴跌（所有数据集指标大幅下降），因为边特征完全无法被利用，且局部结构信息丢失
不同 MPNN 表现：
- PNA 整体精度最高
- GatedGCN 配合 PE/SE 后提升幅度最大
- GINE 在分子数据集上表现稳定
位置 / 结构编码对比
- RWSE（随机游走结构编码）：在分子数据集上稳定提升，计算成本低，性价比最高
- LapPE（拉普拉斯位置编码）：在图像超像素图（CIFAR10、MNIST）上效果更优
- SignNet+DeepSets：整体表现最优的编码方案，能处理特征向量的符号歧义问题，但计算成本更高
- 编码效果具有数据集依赖性，不存在通用最优解
论文在 16 个多样化基准上测试 GPS，涵盖小分子性质预测、图像超像素分类、代码 AST 分析、函数调用图分类、长程图任务等场景。
小规模图基准（Benchmarking GNNs）
在 ZINC、MNIST、CIFAR10、PATTERN、CLUSTER 5 个经典基准上：
- ZINC 数据集 MAE=0.070，达到 SOTA，大幅优于 GIN、GAT、SAN 等模型
- CIFAR10 准确率 72.3%，位列第二，仅次于 DGN
- PATTERN、CLUSTER 均位列前三，展现出强表达力
在 ogbg-molhiv、ogbg-molpcba、ogbg-ppa、ogbg-code2 4 个 OGB 基准上：
- ogbg-ppa 准确率 80.15%，达到 SOTA
- ogbg-molpcba 平均精度 0.2907，位列前三
- ogbg-code2 的 F1 分数 0.1894，优于绝大多数图 Transformer
- 所有数据集上均优于 SAN、GraphTrans 等经典图 Transformer
总结思考
混合架构是图 Transformer 的最优路径：局部 MPNN 处理边特征与局部结构，全局注意力处理长程依赖，二者结合兼顾精度与效率。位置与结构编码是图 Transformer 的核心组件，系统化的分类体系为后续研究提供了统一框架。 线性注意力机制可以有效扩展图 Transformer 到大图，且精度损失可控。
缺乏真正需要长程依赖的大规模图数据集，线性注意力的扩展性优势无法充分体现。可探索更适合图结构的线性注意力变体，进一步缩小与全连接注意力的精度差距。