基于Spark计算网络图中节点之间的Jaccard相似性

基于Spark计算网络图中节点之间的Jaccard相似性

Jaccard 相似度是一种较为常用的衡量两个集合相似性的指标,用于计算两个集合的交集与并集的比率。具体来说,它的计算公式为:

在网络图中同样经常使用Jaccard来计算节点之间的相似性,对于图中的每个节点,收集其邻居节点作为一个集合,然后不同节点之间使用对应的集合计算节点之间的相似性。这种计算方式考虑的是节点的局部结构,即节点的直接邻居关系。如果两个节点具有较高的 Jaccard 相似度,意味着它们有较多的共同邻居,表明它们在图中的局部结构上非常相似。

Jaccard计算简单,易于理解和实现,在推荐系统(在社交网络或电商平台中,可以使用 Jaccard 相似度来推荐好友或商品。例如,在社交网络中,具有共同好友的用户可能更容易成为朋友。)或是社区发现(在网络图中,相似度较高的节点可能属于同一社区或群体。通过计算节点对之间的 Jaccard 相似度,可以辅助发现社区结构或群体。)等领域都有广泛应用。

文章目录


一、使用Jaccard相似性计算网络图中节点相似性的实现流程

  • 收集所有指向节点的邻居节点(in-degree)
  • 收集所有由节点指出的邻居节点(out-degree)
  • 拼接in-degree和out-degree,获取节点所有的邻居节点
  • 词袋模型编码,为每个节点生成一个特征集合,方便后续使用Spark自带的MinHashLSH方法加速节点相似度的计算
  • MinHash计算节点之间的相似度,得到最终计算结果

二、什么是MinHashLSH

什么是MinHashLSH

三、完整代码(基于Scala)

完整代码(基于Scala)


总结

相关推荐
学Linux的语莫2 小时前
机器学习数据处理
java·算法·机器学习
earthzhang20212 小时前
【1007】计算(a+b)×c的值
c语言·开发语言·数据结构·算法·青少年编程
在云上(oncloudai)2 小时前
深入解析 Amazon Athena:云上高效数据分析的关键引擎
数据挖掘·数据分析
hello_2502 小时前
动手模拟docker网络-bridge模式
网络·docker·桥接模式
武文斌773 小时前
项目学习总结:LVGL图形参数动态变化、开发板的GDB调试、sqlite3移植、MQTT协议、心跳包
linux·开发语言·网络·arm开发·数据库·嵌入式硬件·学习
爱吃喵的鲤鱼3 小时前
仿mudou——Connection模块(连接管理)
linux·运维·服务器·开发语言·网络·c++
爱吃小胖橘3 小时前
Unity网络开发--超文本传输协议Http(1)
开发语言·网络·网络协议·http·c#·游戏引擎
萧鼎3 小时前
Python schedule 库全解析:从任务调度到自动化执行的完整指南
网络·python·自动化
2301_803554524 小时前
C++联合体(Union)详解:与结构体的区别、联系与深度解析
java·c++·算法
sali-tec4 小时前
C# 基于halcon的视觉工作流-章42-手动识别文本
开发语言·人工智能·算法·计算机视觉·c#·ocr