OpenSPG：大模型与知识图谱双向增强

OpenSPG：大模型与知识图谱双向增强

OpenSPG：大模型与知识图谱双向增强

在数字化转型的浪潮中，知识图谱技术逐渐成为企业智能化升级的重要工具。为了更好地满足金融领域的多元场景需求，蚂蚁集团与OpenKG联合推出了基于SPG（Semantic-enhanced Programmable Graph）框架的知识图谱引擎------OpenSPG。

OpenSPG是蚂蚁集团与OpenKG社区联合推出的知识图谱引擎。OpenSPG作为一个功能强大、灵活易用的知识图谱引擎，为知识构建、管理和应用提供了全面的解决方案。

官方地址：https://spg.openkg.cn/

OpenSPG基于创新的 SPG （Semantic-enhanced Programmable Graph ）框架，融合了 LPG（Labeled Property Graph） 的结构性 和 RDF（Resource Description Framework） 的语义性‌ 。它提供语义建模 、知识构建 、逻辑规则推理 等功能，解决了传统知识图谱在实际应用中遇到的一些复杂问题，比如：如何更好地处理语义和结构的兼容性。

背景与意义

SPG框架是蚂蚁知识图谱平台经过多年金融领域业务支撑的经验总结，旨在解决传统图谱技术在工业级应用中的不足。SPG创造性地融合了LPG（Labeled Property Graph）的结构性与RDF（Resource Description Framework）的语义性，既克服了RDF/OWL语义复杂无法工业落地的问题，又继承了LPG结构简单与大数据体系兼容的优势。

OpenSPG则是在SPG框架的基础上进一步发展而来，为领域图谱构建提供了明确的语义表示、逻辑规则定义、算子框架等能力。它不仅支持各厂商可插拔的适配基础引擎和算法服务，还能够构建自定义的解决方案，极大地提升了图谱技术的应用范围和灵活性。

OpenSPG的核心优势

语义增强与可编程性
- SPG-Schema语义建模：OpenSPG通过SPG-Schema框架设计，明确定义了属性图的语义增强Schema，如主体模型、演化模型、谓词模型等，使得知识图谱的构建更加规范和灵活。
- SPG-Builder知识构建：支持结构化和非结构化知识的导入，与大数据架构兼容衔接，提供了知识构建算子框架，实现从数据到知识的高效转换。
逻辑规则推理与智能分析
- SPG-Reasoner逻辑规则推理：抽象了KGDSL（Knowledge Graph Domain Specific Language），为逻辑规则提供可编程的符号化表示，支持复杂的业务场景建模和分析。
- KNext可编程框架：KNext作为图谱可编程框架，提供了一套可扩展、流程化、对用户友好的组件化能力，实现引擎与业务逻辑、领域模型的隔离，方便业务快速定义图谱解决方案。
云适配与扩展性
- Cloudext云适配层：业务系统通过SDK对接开放引擎，构建自身特色的业务前端，支持扩展/适配自定义的图存储/图计算引擎和机器学习框架，满足不同业务场景的需求。

核心功能

语义建模 ‌：负责属性图语义增强的Schema框架设计，包括主体模型 、演化模型 、谓词模型等‌。

‌知识构建‌：支持结构化和非结构化知识导入，与大数据架构兼容，提供知识构建算子框架，实现数据到知识的转换‌。

‌逻辑规则推理 ‌：抽象KGDSL（Knowledge Graph Domain Specific Language），为逻辑规则提供可编程的符号化表示，支持规则推理和神经/符号融合学习‌。

‌可编程框架 ‌：提供可扩展、流程化、用户友好的组件化能力，实现引擎与业务逻辑、领域模型的隔离，快速定义图谱解决方案‌。

‌云适配层‌：支持业务系统基于SDK对接开放引擎，构建业务前端，适配自定义的图存储/图计算引擎和机器学习框架‌。

技术原理

OpenSPG框架创造性地融合了LPG的结构性 和RDF的语义性 ，提供一种既简单又具有丰富语义的图表示方法‌。它支持在非完备数据状态下构建和持续迭代演化图谱，以及在数据不完整或变化的情况下进行知识构建和推理‌。

技术细节组成

SPG-Schema语义建模
- 演化模型：描述图谱中节点和关系的动态变化过程。
- 谓词模型：定义节点之间的关系及其属性。
- 主体模型：定义图谱中的主体节点及其属性。
SPG-Builder知识构建
- 知识导入：支持多种数据源的结构化和非结构化数据导入。
- 知识加工SDK：提供实体链指、概念标化和实体归一等算子能力，结合NLP和深度学习算法，提高知识图谱的质量和一致性。
SPG-Reasoner逻辑规则推理
- KGDSL：一种专门用于知识图谱逻辑规则定义的领域特定语言。
- 规则推理：通过谓词语义和逻辑规则定义知识之间的依赖和传递，支持复杂的业务场景分析。
KNext可编程框架
- 组件化能力：提供可扩展、流程化的组件化能力，支持用户自定义图谱解决方案。
- 隔离机制：实现引擎与业务逻辑、领域模型的隔离，确保系统的稳定性和灵活性。
Cloudext云适配层
- SDK对接：业务系统通过SDK对接开放引擎，构建特色业务前端。
- 扩展适配：支持自定义的图存储/图计算引擎和机器学习框架，适应不同业务需求。

可视化界面与工具

OpenSPG还提供了可视化界面，方便用户进行知识库的管理和知识的可视化展示‌。用户可以通过neo4j等工具对graphrag提取和存储的知识图谱进行可视化，更直观地感受GraphRAG的魅力‌。

应用与优势

OpenSPG已在实际业务场景中得到应用，无论你是技术开发者还是业务人员，OpenSPG 都提供了一个易于上手且功能丰富的平台，用于构建和应用知识图谱。

目前，OpenSPG 已经被应用于多个领域，如：金融风险识别、供应链管理、医疗诊断等。其优势包括成熟稳定、灵活定制、高效性能和易于集成等‌。与大模型技术结合使用，即可产生了类似 KAG 这样逻辑推理问答框架。

企业供应链图谱：通过构建企业供应链图谱，实现供应链的可视化管理和优化，提升供应链的透明度和效率。
黑产挖掘图谱：利用图谱技术挖掘黑产网络，识别潜在的风险点，保护企业和用户的利益。
医疗知识图谱：构建医疗领域的知识图谱，支持临床决策、疾病诊断和药物研发等应用。

如何使用

Get Started
- 安装说明：通过官方文档获取详细的安装指南。
- 快速上手：通过案例快速上手，包括企业供应链图谱、黑产挖掘图谱、医疗知识图谱等。
进阶教程
- OpenSPG用户手册：详细介绍了OpenSPG的各项功能和使用方法。
- OneKE用户手册：提供OneKE的相关使用指南。

结语

OpenSPG凭借其强大的语义增强、可编程性和扩展性，为企业和开发者提供了一个高效、灵活的知识图谱构建和管理平台。无论是金融、供应链、医疗还是其他领域，OpenSPG都能助力企业在数字化转型的道路上更进一步。