论文阅读:《Hypergraph Motif Representation Learning》

这篇论文发布于KDD2025会议上。

笔者之前没有读过有关超图的文章,因此其中可能牵扯许多超图的基本定义和基础知识,同样没有基础的读者也可以直接阅读。

研究背景

超图

在现实复杂系统中,高阶关联普遍存在,超图(Hypergraphs)凭借其允许一条超边连接任意数量节点的特性,成为刻画这类高阶关联的有力工具。

普通的图是由节点与边组成的,每一条边的两端分别连接一个节点,而对于超图来说,它是由节点和超边组成的,每一条边的两端可能连接着两个及两个以上个节点。

在普通图上进行边与节点之间关系的表示时,通常有两种表示方式:关联矩阵和邻接矩阵,在实际应用中(也就是图神经网络的训练上),通常输入邻接矩阵和特征矩阵;在超图上,定义邻接矩阵就不方便了,因此,我们采用关联矩阵来表示节点与超边之间的关系。

超图可以用来做什么呢?

拿微信的社交网络来说,我们不仅会建立两两之间的好友关系,也会进行建群,而这些群之间的关系,在普通图上是体现不出来的(就比如,A、B、C建立了一个群聊,放在普通图上,可能只能ABC互相都连着边,但是看不出来他们有一个属于自己的群,而超图完美解决了这个问题,一条超边同时连接节点ABC,就说明他们三人之间有一个群聊)。

超图可视化出来也和普通图不一样了,超边不能够用"线"来表示,所以,超边就是大大小小的"圆",从线条到圆,这是维度的上升,也正说明了超图和普通图最本质的区别。

超图小结构(h-motif)

普通图上的小结构已经有很多人研究了,研究这些就小结构,就可以抓住一些规律;类比来说,超图的小结构也是可以有这种潜在规律存在的。

论文中给出了一张图来说明超图上的小结构(右)与普通图上的小结构(左)对比。

超图->普通图

实际上,超图也是可以"降维"成普通图的,

其中一种方法,由超图形成的普通图被称为团扩展图(其核心逻辑是 "把超边中的所有节点,两两之间都连一条边")(英文名:clique expansion,不知道翻译准不准确),上图中左侧的无向图正好就是右侧超图的团扩展图。

实际上,论文中给出的定义是这样的:

公式中说明了降维的两个条件:

  1. 节点u和v不是同一个节点
  2. 节点u和v同时存在于超边e的范围内

满足这两个条件,那么就在团扩展图上添加一条{u,v}边。

另一种办法,就是将超边另外看作另一类节点,将超图转换成二分图。

创新点

本文首次提出预测超图小结构。

Hypergraph motifs的捕捉以及问题定义

本文所研究的motif都是由三条超边组成的也就是如上面那个图所画出来的那样,三条超边部分重叠,将所在其范围内的节点划分成了七类(如图中序号所示):

理论上讲,我们所研究的小结构必须是有意义的,也即是两两之间都有交集不能完全毫无关系,就比如说如果上图中的节点都分布在区域1、5、7,那也就等于说这三个超边毫无关系各自为营,这不是我们所要研究的,因此,经过作者统计,实际上满足条件的、由三条超边组成的小结构一共有26种。

识别这26种motif的方法(文中提到的MoCHy 算法),在论文《Hypergraph motifs: concepts, algorithms, and discoveries》中。

换句话讲,这26种motif就像是用不会变的基本组件,不管在任何超图上,只要说要研究三个超边组合成的motif,不管其中有多少节点,就一定能够对应到这26种motif上面来。

明白这些之后,作者给出了一些基本的数学定义,方便后续进行motif预测。

一个个来讲,这段中大量出现的下标t,其实就是代表符合26类规则中的第t类。

那么首先,是顶点集V的幂集,也就是顶点集V所有可能的子集集合,比如V={v1,v2}时,={{},{v1},{v2},{v1,v2}},又因为超边中不可能一个节点都不包含,因此要排除掉空集,就代表了所有理论上可能存在在该超图上的、并且符合规则(也就是属于上面所说的26种可研究的motif)的motif了。

只有还不够,他仅仅列出来了我们所有可能的motif,而超图上原来就有的motif还没能表示出来,因此就有了,这个就是实际我们可以从超图上看到的符合规则的motif集合了。指的是所有类型的的并集。

有了这些也还是不够,为此又有了子超图,子超图中同样包含完整的顶点集,和一部分的超边,因此可以在子超图上实际观测到的motif集合,就被记作

本文将预测motif形式化为一个二分类任务,即判断理论存在的motif的集合中的每一个元素是否真的存在于

在这篇论文中,我们要预测的目标是,判断超图中缺失的特定类型 h-motif是否会实际存在 。为了实现这一目标,作者提到了两种解决思路,其核心区别是是否假设每个超边的形成是独立的

  • 假设每条超边的出现都是独立的,那么motif预测问题就退化为超边预测的延伸问题,我们需要判断某条超边是否存在,以此来确定某个motif是否存在。这种思路下,预测某个motif是否存在仅仅就是计算三条单独的超边(比如下图中e3e5e6)分别出现的概率的乘积就好了,然而这种思路有明显缺陷,因为现实世界中一定是相互之间有所影响的,不可能是完全独立的;
  • 假设构成 h-motif 的超边之间存在内在关联(如超边交集、节点共享等结构依赖),h-motif 的存在概率需基于这种关联性综合评估,而非简单叠加单个超边的概率。下图右侧明确写出了这种思路下需要考虑的条件(最右侧橙色框中的七个条件)。

再说回这个预测目标,与上述数学定义联系起来就比较好理解了,我们在上面定义了一个子超图,它是完整超图的一部分,作者所做的工作,就是在子超图上预测某个不存在在子超图上的(即缺失的特定类型的h-motif)是否会出现在完整超图上。

假设超边独立性下motif预测

之前已经简单说过,超边假设独立的话,我们只需要预测构成motif的三条超边同时出现的概率(=各自出现概率的乘积)就行了,因此文中作者对这部分的阐述重点放在了超边预测上。作者为我们总结了近年来比较流行的超边预测算法,并将它们分成了两大类,这部分之后再进行补充。

假设超边之间相关下motif预测

负采样

这篇论文在模型训练上不只是采用子图-完整图这一巧妙的训练思路,同时还加入了对比学习。对于负样本的构造,以下这张图中就又很好的体现:

从左到右依次来看:

  • 最左侧橙色框:说明了样本划分方式,将完整的图按照8:2划分为训练集和测试集。不论是训练集还是测试集,所划分的都是所包含的超边,所有节点都被包含在两个集合之中。
  • 中间橙色框(正采样):按照之前所见的步骤,在训练集上按照MoCHy算法识别出26种标准的motif,作为正样本集
  • 右边橙色框(负采样):详见节点替换机制小节。

为了得到负样本集,首先要得到负超边集,这篇文章中得到负超边集的策略很简单,那就是直接在节点集上继续采样,得到一系列超边即可,随机加入一些负超边之后,整个图就表示为,其中,在这个图上通过MoChy算法识别得到可观测motif集,那么负样本集

节点替换机制

然而,通过随机采样生成的负超边从而构成的负motif样本规律性太弱,这样的负样本可能很容易就会被分辨出来,为此,作者提出了上图中的方法。**该方法通过将正实例中一定比例α的节点替换为网络中的其他节点,从而生成负样本。**但本文所采取的技术引入了一种专门针对超图设计的改进型节点替换选择机制,能够获得更合理(即与正样本更接近)的负样本。具体而言,待替换的节点通过均匀随机抽样选择,而替换节点则根据节点替换评分来选取。这些评分基于节点到motif的距离以及节点度数计算,因此会优先选择与目标motif距离近且连接度高的节点。

为实现节点替换机制,作者进行如下定义,这将为后面选择节点提供极大便利:

接着,对于一个motif样本,中所包含的全部节点集合为,我们要做的就是在完整顶点集中按照某种规律找到除中的节点(替换节点集表示为)替换掉中的部分节点(这个"部分"由参数α来控制)。

以下是作者提到的三种替换策略:

所以,作者构建了一个函数,给定一条超边,根据函数作用,就可以得到一个新的超边,于是,负motif样本

完整构建的样本集合如下:

模型框架

超图->线图

在正式讲模型框架之前,先要掌握一个知识点,那就是超图如何转化为线图。

如下图,该转化过程将超图中的每个超边表示为线图中的一个节点,若两个超边存在交集(即包含共同节点),则在对应的线图节点之间建立边。

框架

整个框架被分为三个部分:

第一个部分是节点嵌入表示,其实也就是通常所说的特征矩阵,利用一些成熟的节点嵌入方法完成这一步;

第二部分是超边嵌入表示,作者使用HGCN来完成这个,HGCN是论文《HyperGCN: A New Method For Training Graph Convolutional Networks on Hypergraphs》提出的,这里不再赘述;

第三部分是本论文的核心,首先,作者先将超图转化为线图。将超图转化为线图后,就可以使用传统的GCN对线图进行处理,学习能够捕捉超边间结构相关性的优化后超边表示,随后对这些优化后的表示进行池化操作(对应上图min操作),最终得到高阶基序的嵌入。

相关推荐
CoderYanger13 小时前
前端基础——CSS练习项目:百度热榜实现
开发语言·前端·css·百度·html·1024程序员节
liu****20 小时前
13.POSIX信号量
linux·开发语言·c++·算法·1024程序员节
Kaydeon1 天前
【具身智能】Spatial Forcing 论文笔记 如何隐式地为 VLA 注入 3D 空间感知能力
论文阅读
liu****1 天前
12.线程同步与互斥
linux·数据结构·c++·算法·1024程序员节
wzx_Eleven1 天前
【论文阅读】Towards Fair Federated Learning via Unbiased Feature Aggregation
论文阅读·人工智能·神经网络
张较瘦_1 天前
[论文阅读] AI+ | AI重构工业数字孪生!新一代iDTS破解数据稀缺、智能不足难题,附3大落地案例
论文阅读·人工智能·重构
CoderJia程序员甲1 天前
GitHub 热榜项目 - 日榜(2025-11-08)
ai·开源·github·1024程序员节·ai教程
DuHz2 天前
基于时频域霍夫变换的汽车雷达互干扰抑制——论文阅读
论文阅读·算法·汽车·毫米波雷达
张较瘦_2 天前
[论文阅读] AI + 职业教育 | 从框架到实践:职业院校教师人工智能素养提升的完整方案
论文阅读·人工智能