OpenSPG:大模型与知识图谱双向增强

OpenSPG:大模型与知识图谱双向增强

OpenSPG:大模型与知识图谱双向增强

在数字化转型的浪潮中,知识图谱技术逐渐成为企业智能化升级的重要工具。为了更好地满足金融领域的多元场景需求,蚂蚁集团与OpenKG联合推出了基于SPG(Semantic-enhanced Programmable Graph)框架的知识图谱引擎------OpenSPG。

OpenSPG是蚂蚁集团与OpenKG社区联合推出的知识图谱引擎。OpenSPG作为一个功能强大、灵活易用的知识图谱引擎,为知识构建、管理和应用提供了全面的解决方案。

官方地址:https://spg.openkg.cn/

OpenSPG基于创新的 SPG (Semantic-enhanced Programmable Graph )框架,融合了 LPG(Labeled Property Graph) 的结构性 和 RDF(Resource Description Framework) 的语义性‌ 。它提供语义建模 、知识构建 、逻辑规则推理 等功能,解决了传统知识图谱在实际应用中遇到的一些复杂问题,比如:如何更好地处理语义和结构的兼容性。

背景与意义

SPG框架是蚂蚁知识图谱平台经过多年金融领域业务支撑的经验总结,旨在解决传统图谱技术在工业级应用中的不足。SPG创造性地融合了LPG(Labeled Property Graph)的结构性与RDF(Resource Description Framework)的语义性,既克服了RDF/OWL语义复杂无法工业落地的问题,又继承了LPG结构简单与大数据体系兼容的优势。

OpenSPG则是在SPG框架的基础上进一步发展而来,为领域图谱构建提供了明确的语义表示、逻辑规则定义、算子框架等能力。它不仅支持各厂商可插拔的适配基础引擎和算法服务,还能够构建自定义的解决方案,极大地提升了图谱技术的应用范围和灵活性。

OpenSPG的核心优势

  1. 语义增强与可编程性

    • SPG-Schema语义建模:OpenSPG通过SPG-Schema框架设计,明确定义了属性图的语义增强Schema,如主体模型、演化模型、谓词模型等,使得知识图谱的构建更加规范和灵活。
    • SPG-Builder知识构建:支持结构化和非结构化知识的导入,与大数据架构兼容衔接,提供了知识构建算子框架,实现从数据到知识的高效转换。
  2. 逻辑规则推理与智能分析

    • SPG-Reasoner逻辑规则推理:抽象了KGDSL(Knowledge Graph Domain Specific Language),为逻辑规则提供可编程的符号化表示,支持复杂的业务场景建模和分析。
    • KNext可编程框架:KNext作为图谱可编程框架,提供了一套可扩展、流程化、对用户友好的组件化能力,实现引擎与业务逻辑、领域模型的隔离,方便业务快速定义图谱解决方案。
  3. 云适配与扩展性

    • Cloudext云适配层:业务系统通过SDK对接开放引擎,构建自身特色的业务前端,支持扩展/适配自定义的图存储/图计算引擎和机器学习框架,满足不同业务场景的需求。

核心功能

语义建模 ‌:负责属性图语义增强的Schema框架设计,包括主体模型 、演化模型 、谓词模型等‌。

‌知识构建‌:支持结构化和非结构化知识导入,与大数据架构兼容,提供知识构建算子框架,实现数据到知识的转换‌。

‌逻辑规则推理 ‌:抽象KGDSL(Knowledge Graph Domain Specific Language),为逻辑规则提供可编程的符号化表示,支持规则推理和神经/符号融合学习‌。

‌可编程框架 ‌:提供可扩展、流程化、用户友好的组件化能力,实现引擎与业务逻辑、领域模型的隔离,快速定义图谱解决方案‌。

‌云适配层‌:支持业务系统基于SDK对接开放引擎,构建业务前端,适配自定义的图存储/图计算引擎和机器学习框架‌。

技术原理

OpenSPG框架创造性地融合了LPG的结构性 和RDF的语义性 ,提供一种既简单又具有丰富语义的图表示方法‌。它支持在非完备数据状态下构建和持续迭代演化图谱,以及在数据不完整或变化的情况下进行知识构建和推理‌。

技术细节组成

  • SPG-Schema语义建模

    • 演化模型:描述图谱中节点和关系的动态变化过程。
    • 谓词模型:定义节点之间的关系及其属性。
    • 主体模型:定义图谱中的主体节点及其属性。
  • SPG-Builder知识构建

    • 知识导入:支持多种数据源的结构化和非结构化数据导入。
    • 知识加工SDK:提供实体链指、概念标化和实体归一等算子能力,结合NLP和深度学习算法,提高知识图谱的质量和一致性。
  • SPG-Reasoner逻辑规则推理

    • KGDSL:一种专门用于知识图谱逻辑规则定义的领域特定语言。
    • 规则推理:通过谓词语义和逻辑规则定义知识之间的依赖和传递,支持复杂的业务场景分析。
  • KNext可编程框架

    • 组件化能力:提供可扩展、流程化的组件化能力,支持用户自定义图谱解决方案。
    • 隔离机制:实现引擎与业务逻辑、领域模型的隔离,确保系统的稳定性和灵活性。
  • Cloudext云适配层

    • SDK对接:业务系统通过SDK对接开放引擎,构建特色业务前端。
    • 扩展适配:支持自定义的图存储/图计算引擎和机器学习框架,适应不同业务需求。

可视化界面与工具

OpenSPG还提供了可视化界面,方便用户进行知识库的管理和知识的可视化展示‌。用户可以通过neo4j等工具对graphrag提取和存储的知识图谱进行可视化,更直观地感受GraphRAG的魅力‌。

应用与优势

OpenSPG已在实际业务场景中得到应用,无论你是技术开发者还是业务人员,OpenSPG 都提供了一个易于上手且功能丰富的平台,用于构建和应用知识图谱。

目前,OpenSPG 已经被应用于多个领域,如:金融风险识别、供应链管理、医疗诊断等。其优势包括成熟稳定、灵活定制、高效性能和易于集成等‌。与大模型技术结合使用,即可产生了类似 KAG 这样逻辑推理问答框架。

  1. 企业供应链图谱:通过构建企业供应链图谱,实现供应链的可视化管理和优化,提升供应链的透明度和效率。
  2. 黑产挖掘图谱:利用图谱技术挖掘黑产网络,识别潜在的风险点,保护企业和用户的利益。
  3. 医疗知识图谱:构建医疗领域的知识图谱,支持临床决策、疾病诊断和药物研发等应用。

如何使用

  1. Get Started

    • 安装说明:通过官方文档获取详细的安装指南。
    • 快速上手:通过案例快速上手,包括企业供应链图谱、黑产挖掘图谱、医疗知识图谱等。
  2. 进阶教程

    • OpenSPG用户手册:详细介绍了OpenSPG的各项功能和使用方法。
    • OneKE用户手册:提供OneKE的相关使用指南。

结语

OpenSPG凭借其强大的语义增强、可编程性和扩展性,为企业和开发者提供了一个高效、灵活的知识图谱构建和管理平台。无论是金融、供应链、医疗还是其他领域,OpenSPG都能助力企业在数字化转型的道路上更进一步。

相关推荐
VIP_CQCRE3 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷3 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我4 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁014 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn5 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
zhuangzhao1195 小时前
第一性原理大模型课程 · 第 21 课:从 Prompt 到 Agent:四件套、错误累积与 ReAct 手算
大模型·react·ai agent·错误累积·大模型课程
在所不辞兄5 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下6 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码6 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下7 小时前
langgraph 全栈项目(二)
前端·人工智能·后端