(ICLR 2019)APPNP传播用 PageRank,不用神经网络!

论文阅读:

https://arxiv.org/pdf/1810.05997

本篇文章核心贡献可以用一句话来总结把 GNN 的 message passing 解耦,先用 MLP 做预测,再用 Personalized PageRank (PPR) 把预测在图上扩散

这句核心话是什么意思?

传统 GNN = "学习 + 传播" 绑在一起,而APPNP = "学习(MLP)" 和 "传播(PPR)" 分开做。传统 GNN 的邻居传播为: ,特征变换为:,神经网络学习权重为:,这就意味着学习和传播是捆绑在一起的,每加一个 GCN 层,就是再做一次:邻居传播、参数学习、非线性激活;这也就导致了如果想扩大邻域,就只能"加层",但加层会导致oversmoothing、训练难、参数多。

而APPNP 解决了 GCN 的两个大痛点:

  • GCN 层数一深就 oversmoothing(节点表示变得一样)。随着层数深 → 相当于不断做邻居平均(Laplacian smoothing), 层数太深 → 所有节点 embedding 趋于一样, 这称为 oversmoothing。
  • GCN 的可用层数通常只有 2--3 层,因此GCN 只能看到很小的邻域(2-hop)。
  • GCN 想扩大感受野必须加层、参数变多、训练变难。

如何解决问题?

GCN 的传播本质是 random walk,随机游走走太远就会变成全图 stationary distribution(与起点无关)。 为解决这个问题,论文把 random walk 换成Personalized PageRank (PPR):

本质上加了"回跳(teleport)"机制,以 (1−α) 的概率走向邻居,以 α 的概率跳回根节点 i,**PPR 即使传播无限次,仍然保持节点的"个性化中心性",不会失焦,**这正好解决 GCN 的 oversmoothing!

APPNP真正被使用的模型

用 Power Iteration(幂迭代)近似 PPR:

参考:

https://blog.csdn.net/fnoi2014xtx/article/details/107567629

https://blog.csdn.net/gitblog_00008/article/details/139916344

相关推荐
HiDev_7 分钟前
【非标自动化】2、认识元器件(液压泵和液压阀)
大数据·人工智能·自动化
这张生成的图像能检测吗11 分钟前
即插即用模块 + 改进思路汇总目录
图像处理·人工智能·深度学习·目标检测·机器学习
Geek-Chow12 分钟前
12 开源 vs 闭源:同一份权重,两种交付
人工智能·llm·大语言模型
一个处女座的程序猿24 分钟前
Agent之Tool:MoneyPrinterTurbo(一站式 AI 短视频生成工具)的简介、安装和使用方法、案例应用之详细攻略
人工智能·音视频·moneyprinter
港股研究社31 分钟前
物理AI临界点:智驾Tier 1越过规模效应拐点
人工智能
m4Rk_31 分钟前
【论文阅读】Agent 记忆机制(48):Fine-Mem——用细粒度奖励解决长期记忆管理中的奖励稀疏与信用分配
论文阅读·人工智能·学习·开源·github
IanSkunk36 分钟前
眼视光设备全周期台账:从验收入库到使用效果数据化的管理闭环
大数据·网络·人工智能
拓人间精准客39 分钟前
2025–2026 ToB 精准拓客实战手册:用“企业数据画像 + 动态筛选“击穿七大行业获客内卷
大数据·数据库·人工智能
北京GEO服务商余小铁44 分钟前
北京建材行业怎么通过 GEO 推广实现获客
人工智能
txg66644 分钟前
Less Is More:如何用半监督学习提升漏洞检测能力
人工智能·深度学习·学习·安全·开源软件