机器学习笔记:node2vec(论文笔记:node2vec: Scalable Feature Learning for Networks)

2016 KDD

1 intro

  • 利用graph上的节点相似性,对这些节点进行embedding
    • 同质性:节点和其周围节点的embedding比较相似
      • 蓝色节点和其周围的节点
    • 结构等价性
      • 结构相近的点embedding相近
        • 比如蓝色节点,都处于多个簇的连接处

2 随机游走

2.1 介绍

  • 随机游走是一种自监督学习的embedding方法,不需要利用节点标签也不需要节点的特征,训练出来的embedding也不依赖于任何的特定任务
  • 首先随机选择一个邻居节点,走到该处再随机选择一个邻居,重复length次
    • length是指随机游走的长度
    • 使用随机游走从起始节点到终止节点的概率值,实际上就可以用来表示相似度
      • 也就是说,从u到v节点的概率值,应该正比于u与v节点embedding之后的点乘结果

2.2 具体算法

  • 根据某种策略R,从图上的每个点,执行一些随机游走
  • 对图上的每个点u,收集相对应的点集
    • 是从u点出来的各条随机游走路径上的点集
    • 中可能会有重复的元素
  • 根据对数概率,优化embedding
    • 目标:最小化损失函数L
      • ------>最大化在中的v与u之间的log(P(v|Zu))
      • ------>最大化在u随机游走路径上的v与u之间的P(v|Zu)
        ------>在u随机游走路径上的v,尽量地和u相似()

2.3 随机游走策略

  • 最简单的策略:从每个点跑固定长度,没有bias的随机游走
    • 会导致游走局部化或者仅在个别点之间游走
    • ------>提出两个参数(概率)用来控制游走策略
  • 从w(t时刻)到s1(t+1时刻)

    • t+1时刻和t-1时刻的距离为0------return parameter
  • 从w(t时刻)到s2(t+1时刻)

    • t+1时刻和t-1时刻的距离为1
  • 从w(t时刻)到s3(t+1时刻)

    • t+1时刻和t-1时刻的距离为2------>walk away parameter

2.3.1 一次游走,多个节点游走路径

在寻找随机游走的过程中,我们可以通过一次游走(深度优先遍历的算法,路径长),寻找出多个节点的游走路径(路径短)

2.3.2 p,q对路径搜索的影响

  • DFS,深度优先,即q值小,探索强。会捕获同质性节点,即相邻节点表示类似。
  • BFS,广度优先,即p值小,保守周围。会捕获结构性,即某些节点的图上结构类类似。

2.3.3 随机游走算法优化

上述算法有一个问题,就是我计算P(v|Zu)时,分母还是需要每一对node 都计算一边,那么还是的时间复杂度

解决方法:负采样

  • 分母改为随机采样k个点
    • 每个点负采样概率正比于这个点的度数

3 用点embedding 表示边embedding

通过平均、哈达玛积(元素相乘)、L1、L2计算方式表示边的embedding

4 实验结果

相关推荐
Eastmount1 天前
[论文阅读] (55)NDSS26 WebSpotter:Web攻击恶意载荷定位与可解释攻击检测
论文阅读·网络安全·攻击检测·ndss
天树星智源6 天前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
XLYcmy7 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy8 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.9 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy9 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n10 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新10 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*10 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*12 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e