图神经网络及其在知识图谱的应用

一 应用领域

道路交通,动态预测

自动驾驶,无人机场景

化学,医疗等场景

物理模型相关

二 图基本模块定义

V Vertex点

E Edge 边(向量)

U Global 图 (例如:全局向量)

无论事多么复杂,我们利用图神经网络的目的就是整合特征

有向图 出度,入度

无向图 度 Degree

邻接矩阵

子图:所有边和点都在原图中

连通图:对于一个无向图,如果任何的节点i能够通过一些边到达节点j,则称之为连通图

连通分量:无向图G的一个极大联通子图陈伟G的一个联通分量(或连通分支)。连通图只有一个连通分量,即其自身;非连通的无向图有多个连通分量。

有向图连通性

强连通图: 强连通图(Strongly Connected Graph)是指在有向图G中,如果对于每一对vi、vj,vi≠vj,从vi到vj和从vj到vi都存在路径,则称G是强连通图。有向图中的极大强连通子图称做有向图的强连通分量

弱连通图:有向图的所有的有向边替换为无向边,所得到的图称为原图的基图。如果一个有向图的基图是连通图,则有向图是弱连通图

最短路径:在一个带权有向图中,从某一顶点到另一顶点可能有很多条路径,最短路径即权值之和最小的那条路径。

图直径:图论中, 图的直径是指任意两个顶点间距离的最大值.(距离是两个点之间的所有路的长度的最小值) 所有最短路径中的最大值

度中心性

度中心性= =度/总节点-1

特征向量中心性Eigenvector Centrality

一个节点的重要性既取决于其邻居节点的数量(即该节点的度),也取决于其邻居节点的重要性。

中介中心性Betweenness Centrality

Betweenness=经过该节点的最短路径/其余两两节点的最短路径

连接中心性 Closeness

PageRank

阻尼系数

三 邻接矩阵

图像可以作为邻居矩阵 ,A表示邻居之间的关系

GNN(A,X)

文本数据也可以表示图的形式,零阶矩阵表示连接关系

Graphs ->are ->all ->around ->us

| | Graphs | are | all | around | us |
| Graphs | | 1 | | | |
| are | | | 1 | | |
| all | | | | 1 | |
| around | | | | | 1 |

us

GNN要求所有图的格式是一样的,考虑GCN

四 消息传递

Source,Target

五 多层GCN的作用

GNN也可以有多层

GNN的本质就是更新各部分特征

其中输入是特征,输出也是特征,邻接矩阵也不会变的

(感受野)

六 图卷积GCN

图卷积和卷积有什么不同?

看起来都是利用周围的特征,但是在图中每个点的邻居是不确定的

节点分类,对每个结点进行预测,不同点是否有连接预测

整个图分类,部分图分类等,不同子图是否相似,异常检测等

GCN归根到底还是要完成特征提取操作,只不过输入对象不是固定格式

如何获取特征呢?

通常交给GCN两个东西就行:1.各节点输入特征 2.网络结构图(邻接矩阵)

很多文章,半监督任务也能解决

GCN的基本思想:

争对橙色节点,计算他的特征:平均其邻居特征(包括自身)后传入神经网络

网络层数

这个跟卷积类似,GCN也可以做多层,每一层输入的还是节点特征,然后将当前特征与网络结构图继续传入下层就可以不断算下去

A,D,F

七 知识图谱结合图神经网络的模型模型

7.1 KGCN

KGCN提出于2019年。中心思想就是利用图神经网络的消息传递机制与基本推荐思想结合训练。在做KGCN模型时候,我们就把知识图谱是作为有权图,也就是关系会通过某种方式变为权重,而这个权重可被理解为是该关系影响用户行为的偏好程度。

计算过程

消息传递机制"Embedding ",Embedding 应该是一种映射,就像 Unicode 对应了某一个字符。在某种程度上,就是用来降维的,降维的原理就是矩阵乘法通俗讲解pytorch中nn.Embedding原理及使用 - 简书 (jianshu.com)

lKGCN:推荐系统的知识图谱卷积神经网络(Hongwei et al.,2019) - 知乎

7.2 KGAT

7.3 KGNN-LS

7.4KNI

7.5 AKGE

7.6 KGIN

相关推荐
Debroon5 分钟前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~12 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨13 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画17 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云19 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓28 分钟前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing28 分钟前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
newxtc29 分钟前
【旷视科技-注册/登录安全分析报告】
人工智能·科技·安全·ddddocr
成都古河云30 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
UCloud_TShare33 分钟前
浅谈语言模型推理框架 vLLM 0.6.0性能优化
人工智能