论文GAN(GRAPH ATTENTION NETWORKS)阅读笔记

简略版理解

背景

当前的局限性:

CNN数据具有规则的网格结构,但现实数据往往是不规则的(即图结构)

本文的核心思想:

每个节点在计算表示时:对邻居节点进行 attention 加权

GAT 架构

GAT 通过堆叠多个图注意力层构建深层网络,每一层都会对节点及其邻居的特征进行加权聚合

GAT 的计算流程

每一层:

线性变换

对所有节点的输入特征进行一次共享的线性变换

计算邻居 attention

在得到新的特征表示后,模型会为每个节点计算其与邻居节点之间的注意力系数,所有邻居的注意力系数会通过Softmax 函数进行归一化

加权聚合

在得到注意力权重后,节点会对所有邻居节点的特征进行加权求和:

  • 权重越大的邻居,对节点表示的贡献越大

  • 权重较小的邻居影响会被削弱

激活函数

Multi-head attention

用多个 attention:

  • 稳定训练

  • 提高表达能力

GCN:

邻居平均

GraphSAGE:

邻居聚合

GAT:

邻居加权(attention)

相关推荐
吴佳浩3 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_097 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛7 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
火山引擎开发者社区8 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔8 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区8 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1239 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI9 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健9 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程