构建知识图谱（方法论初探）

任务	内容概述	常见问题	解决方法	所需技术或者模型	涉及算法	常用工具	算法工具的实践推荐
主要步骤	1. 信息抽取（实体、关系、属性） 2. 知识融合（消歧、实体统一） 3. 本体构建 4. 构建领域知识图谱	1. 数据质量问题 2. 信息碎片问题	1. 数据预处理 2. 实体消歧 3. 模式匹配	深度学习，机器学习模型 自然语言处理	CNN+LSTM+CRF, SVM, LSTM+Attention	FudanNLP, LTP, DeepDive, Reverb, SOFIE, Ollie	1. DeepDive（三元组抽取） 2. Reverb（开放三元组抽取） 3. SOFIE（本体扩展） 4. Ollie（基于语法的抽取）
本体构建	定义概念、概念层次、关系，并将其组织为知识结构	1. 概念抽取不精确 2. 本体建模复杂	1. 通过领域专家定义本体 2. 自动抽取概念	本体建模工具 自然语言处理技术	-	Protégé, Ontology Editor	1. Protégé：本体建模工具 2. Ontology Editor：本体编辑器
信息抽取	提取实体、关系和属性 主要通过NLP技术和机器学习模型实现	1. 异构数据整合困难 2. 标注不一致	1. 数据清洗 2. 结合监督和无监督方法进行抽取	NLP工具包 深度学习模型	NER, 关系抽取、属性抽取算法	FudanNLP, NLPIR, LTP	1. FudanNLP：中文NLP工具包 2. NLPIR：中文分词与命名实体识别 3. LTP：中文语言处理工具
实体抽取	从文本中识别命名实体（如人名、地名、机构名等）	1. 命名实体识别不准确 2. 上下文消歧难度	1. 使用CNN+LSTM+CRF进行实体识别 2. 引入上下文特征	CNN+LSTM+CRF 规则匹配	CRF, LSTM+Attention	FudanNLP, StanfordNLP	1. StanfordNLP：命名实体识别工具 2. FudanNLP：中文实体抽取工具
关系抽取	从文本中提取实体间的关系	1. 多样化的关系类型 2. 语境依赖性强	1. 使用规则或机器学习模型提取关系	深度学习模型 关系抽取算法	CNN, LSTM, SVM, Attention, 依存树	DeepDive, DeepKE, StanfordNLP	1. DeepDive：斯坦福大学开源的关系抽取工具 2. StanfordNLP：支持关系抽取的工具 3. DeepKE：基于深度学习的中文关系抽取工具
属性抽取	提取实体的附加属性（如出生日期、身高等）	1. 属性识别误差 2. 属性抽取复杂	1. 基于规则的属性匹配 2. 基于学习的属性抽取方法	规则匹配 机器学习模型	SVM, CRF, 聚类算法	-	1. 规则匹配：正则表达式 2. 基于学习的属性抽取方法：支持向量机（SVM）
知识融合	将不同来源的数据进行整合，解决冗余和冲突问题	1. 数据冲突 2. 重名现象	1. 实体消歧 2. 模式匹配	实体消歧技术 融合算法	聚类算法，消歧算法，向量空间模型	Falcon-AO, OpenCyc, DBPedia	1. Falcon-AO：本体匹配工具 2. OpenCyc, DBPedia：知识库支持工具
知识图谱存储	使用图数据库存储三元组数据	1. 数据存储不一致 2. 查询性能低	1. 优化图数据库存储 2. 数据库设计优化	图数据库技术	Neo4j, JanusGraph	Neo4j, Amazon Neptune, ArangoDB	1. Neo4j：最常用的图数据库 2. Amazon Neptune：支持图查询的云服务
推理与应用	基于知识图谱进行推理和应用（如问答系统、推荐系统等）	1. 推理精度低 2. 知识更新困难	1. 引入深度推理模型 2. 进行知识图谱的更新和优化	推理技术 知识图谱更新算法	邻接矩阵推理，深度学习推理	SPARQL, TensorFlow, PyTorch	1. SPARQL：查询语言用于图数据提取 2. TensorFlow、PyTorch：深度学习模型应用于推理

参考：

https://blog.csdn.net/weixin_40325675/article/details/143870065

YAGO 3构建知识图谱的步骤

1. 数据源选择：

   • 从多种语言的维基百科中提取信息，包括类别、信息框（infoboxes）和维基数据（Wikidata）。

2. 实体识别：

   • 将每个维基百科条目视为一个实体，确保不同语言中的同一实体不会重复。

3. 属性映射：

   • 学习和映射信息框属性，使用英语WordNet作为参考知识库，以确保不同语言之间的属性一致性。

4. 数据融合：

   • 将来自不同语言的信息融合到一个统一的知识库中，生成新的实体和事实。

5. 构建本体：

   • 创建一个层次化的本体结构，将所有实体组织到一个单一的分类法中。

6. 知识库维护：

   • 定期更新和维护知识库，以确保其准确性和时效性。

方法论

• 模块化架构：

  • YAGO采用模块化设计，允许不同的数据提取器并行工作，从而提高效率。

• 精确性与一致性：

  • 在映射属性和合并实体时，YAGO确保高达95%-100%的准确率，以减少噪声和错误。

• 增量构建：

  • YAGO支持增量式构建，可以方便地将新数据源添加到现有知识图谱中。

相关论文

1. YAGO3: A Knowledge Base from Multilingual Wikipedias

   • 作者：Farzaneh Mahdisoltani, Joanna Asia Biega, Fabian M. Suchanek
   • 会议：Conference on Innovative Data Systems Research (CIDR), 2015
   • 摘要：该论文介绍了YAGO3的构建过程，如何融合多语言维基百科的信息，以及如何将这些信息与WordNet结合，形成一个一致的知识库。
   • 链接：YAGO3论文

2. A Scalable Approach to Incrementally Building Knowledge Graphs

   • 本文探讨了构建知识图谱的可扩展方法，包括如何处理来自多个数据源的数据整合问题。
   • 链接：可扩展构建知识图谱

通过以上步骤和方法论，YAGO 3成功地构建了一个丰富且高质量的多语言知识图谱，为后续的研究和应用提供了坚实的基础。

Citations:

[1] https://dl.acm.org/doi/fullHtml/10.1145/3522586

[2] https://github.com/yago-naga/yago3

[3] https://www.semanticscholar.org/paper/YAGO3:-A-Knowledge-Base-from-Multilingual-Mahdisoltani-Biega/6c5b5adc3830ac45bf1d764603b1b71e5f729616

[4] https://asiabiega.github.io/papers/yago3_cidr2015.pdf

[5] https://usc-isi-i2.github.io/papers/gleb16-tpdl.pdf

[6] https://www.reddit.com/r/yoga/comments/v2j2v9/how_do_you_build_your_own_yoga_flow/

[7] https://yago-knowledge.org/downloads/yago-3

[8] https://www.nature.com/articles/s41598-024-60004-x

[9] https://www.youtube.com/watch?v=gtNFoD-K7BY

[10] https://acadpubl.eu/jsi/2018-118-19/articles/19b/24.pdf

以下是一些关于构建知识图谱的国外权威大学和机构的论文，涵盖了不同的研究方向和应用场景：

1. Knowledge Graph Construction and Applications for Web Search

   • 该论文介绍了在搜狗公司从零开始构建大规模多源知识图谱的解决方案，包括其架构、技术实现和应用。研究强调了知识图谱在增强智能系统性能中的重要性，并展示了如何利用分布式搜索引擎支持大规模数据处理[1]。

2. Knowledge Graph Toolkit (KGTK)

   • 由南加州大学信息科学研究所（USC/ISI）提供的教程，展示了KGTK框架，用于创建和利用大型知识图谱，如Wikidata。该教程涵盖了表格理解、实体链接和知识图谱构建等方面的最新进展，适用于多种计算机科学和人工智能领域的应用[2]。

3. Knowledge Graphs: Opportunities and Challenges

   • 本文系统地概述了知识图谱领域的机会与挑战，讨论了知识图谱在人工智能系统中的应用以及技术挑战，如知识图谱嵌入、知识获取和推理等。这为未来的研究提供了重要的见解[3]。

4. Open-World Taxonomy and Knowledge Graph Co-Learning

   • 这篇论文探讨了开放世界假设下的分类法与知识图谱共学习的方法，提出了一种新颖的方法来整合新兴实体和关系，推动知识库的发展，以适应不断变化的信息需求[5]。

5. A systematic literature review of knowledge graph construction and its applications in education

   • 本文通过系统文献综述，探讨了知识图谱在教育领域的构建方法及其应用，分析了各种KG功能、知识提取技术及其局限性，为教育领域的未来研究指明了方向[7]。

这些论文不仅展示了学术界在知识图谱构建方面的前沿研究，还提供了丰富的方法论和实践经验，可以为相关领域的研究人员和从业者提供参考。

Citations:

[1] https://direct.mit.edu/dint/article/1/4/333/9987/Knowledge-Graph-Construction-and-Applications-for

[2] https://www.isi.edu/centers-ckg/resources/tutorials/

[3] https://arxiv.org/abs/2303.13948

[4] https://ceur-ws.org/Vol-3304/paper03.pdf

[5] https://www.cs.emory.edu/\~jyang71/files/hakegcn.pdf

[6] https://paperswithcode.com/task/knowledge-graphs

[7] https://pmc.ncbi.nlm.nih.gov/articles/PMC10847940/

[8] https://direct.mit.edu/dint/article/1/1/77/9977/XLORE2-Large-scale-Cross-lingual-Knowledge-Graph

[9] https://arxiv.org/abs/2003.02320

[10] https://www.nature.com/articles/s41597-024-03039-z