2024 年 8 月 26 日至 30 日，为期 5 天的数据管理与数据库领域顶会 VLDB 2024 在广州举办。作为数据库领域的三大顶级国际会议之一，VLDB 致力于展示和分享数据库管理系统和数据管理领域的最新研究成果，在全球学术界和工业界享有颇高声誉。
蚂蚁集团有 8 篇论文被 VLDB 2024 收录，其中知识引擎团队的论文《KGFabric: A Scalable Knowledge Graph Warehouse for Enterprise Data Interconnection》被收录为 Industry 级别的现场展示论文 (Oral Paper)，该论文涉及知识图谱、海量数据管理、分布式存储和计算等技术领域。
论文地址
https://www.vldb.org/pvldb/vol17/p3841-yi.pdf
根据蚂蚁集团多样化的应用场景，我们构建了蚂蚁知识图谱平台(AKGP)。该平台构建了众多与商户、公司、账户、产品等相关的领域特定知识图谱。AKGP管理着数万亿结构化知识图谱，服务于搜索、推荐、风控等业务。然而，随着对图模式匹配、图表示学习和跨领域知识重用等各种工作负载需求的增加，基于关系数据库管理系统(DBMS)或图数据库的现有仓库系统无法满足这些需求。
为了解决这些问题，我们提出了KGFabric，这是一种工业规模的知识图谱管理系统 ，构建于分布式文件系统(DFS)之上。KGFabric提供了一种近实时的知识存储引擎，**利用增强语义的可编程图模型(Semantic-enhanced Programmable Graph,SPG)，兼容标记属性图(Labeled Property Graph，LPG)模型。**数据以持久化方式存储在DFS(如HDFS)中，利用POSIX文件系统API，使其适合在多云环境中低成本部署。
KGFabric提供了一种原生的基于图和混合存储格式的系统，可以作为并行图计算系统的共享后端，显著加速多种工作负载的分析。此外，KGFabric包括一个图融合框架，最小化数据重复并保证数据安全。
KGFabric能够管理PB级别的数据，并支持蚂蚁集团内超过1000亿关系的图融合和分析。我们在各种数据集上进行实验以评估KGFabric的性能。与流行的关系DBMS和图数据库相比，语义关系的存储空间减少了90%以上。在实际工作负载中，图融合的性能提升了21倍。在多跳语义图分析中，KGFabric的性能提高了100倍。
文章推荐
OpenSPG 首个 Release 版本发布，提供成熟可靠的知识构建解决方案
手把手教程，改造 GraphRAG 支持自定义 LLM从知识图谱到 GraphRAG：探索属性图的构建和复杂的数据检索实践