使用GraphRAG系统实现本地部署的Ollama模型问答系统

介绍

GraphRAG系统提供了一种强大的方式来使用文本数据并进行高效的问答和信息提取。在本文中，我们将基于GraphRAG系统的基本架构，结合本地部署的Ollama模型，演示如何从安装到索引和查询的完整流程。你可以通过这个教程学习如何使用本地的Ollama模型替代OpenAI或Azure的API，来构建自己的问答系统。

环境准备

1. 安装GraphRAG

首先需要安装GraphRAG库。请确保你已安装Python 3.10到3.12版本。

使用以下命令安装GraphRAG：

pip install graphrag

2. 准备数据

我们将使用小说《圣诞颂歌》（A Christmas Carol）作为示例数据。首先，创建一个目录用于存放数据：

mkdir -p ./ragtest/input

然后从古腾堡项目下载《圣诞颂歌》文本文件：

curl https://www.gutenberg.org/cache/epub/24022/pg24022.txt > ./ragtest/input/book.txt

3. 配置环境变量

要运行GraphRAG索引器，需要设置环境变量。你可以根据需要通过.env文件或者直接在系统中配置。这里我们将通过初始化GraphRAG项目来自动生成这些配置文件。

首先，运行以下命令来初始化你的项目目录：

python -m graphrag.index --init --root ./ragtest

此命令将生成两个文件：

• .env：包含环境变量（如API密钥等）。
• settings.yaml：包含管道配置文件，你可以根据需要进行自定义。

我们将在后续步骤中修改这些文件以支持Ollama本地模型。

本地部署Ollama模型

GraphRAG默认使用OpenAI或Azure OpenAI作为语言模型的接口，但我们可以替换为本地部署的Ollama模型来处理嵌入（embeddings）和语言模型（LLM）任务。

1. 配置.env文件

在.env文件中，删除或忽略与OpenAI相关的环境变量。你可以自行配置本地模型的API接口。

2. 修改settings.yaml

在settings.yaml文件中，找到llm配置部分，将其修改为本地Ollama模型的设置。如下所示：

llm:
  type: openai_chat
  model: qwen2.5:72b
  api_base: http://localhost:11434/v1  # 本地Ollama模型的API地址
  model_supports_json: true

如果你使用的Ollama模型提供了嵌入功能（embeddings），可以在对应部分进行类似的配置：

embedding:
  llm:
    type: openai_embedding
    model: nomic-embed-text
    api_base: http://localhost:11434/api  # 本地Ollama模型的API地址

如果本地资源有限，调用超时，也可以使用线上API，如豆包：

llm:
  api_key: xxx-xxx-xxx-xxx
  type: openai_chat
  model: xxx-xxx-xxx #创建推理接入点
  api_base: https://ark.cn-beijing.volces.com/api/v3
  model_supports_json: true

embeddings:
  llm:
    api_key: xxx-xxx-xxx-xxx
    type: openai_embedding
    model: xxx-xxx-xxx #创建推理接入点
    api_base: https://ark.cn-beijing.volces.com/api/v3

运行索引器

在配置完成后，你可以运行以下命令来启动GraphRAG的索引器：

python -m graphrag.index --root ./ragtest

这将根据输入数据进行索引，具体耗时取决于数据集大小、使用的模型和文本块的大小。执行完成后，你将看到输出目录中生成了相关的Parquet文件。

使用查询引擎

索引完成后，可以开始使用GraphRAG的查询引擎来对数据进行问答。这里有两种查询方法：

1. 全局查询（Global Search）

全局查询适用于对整个文档进行高层次的提问。例如，我们可以这样提问：

python -m graphrag.query \
--root ./ragtest \
--method global \
"《圣诞颂歌》的主要主题是什么？"

2. 局部查询（Local Search）

局部查询更适合特定角色或片段的详细问题。以下是一个关于角色的提问示例：

python -m graphrag.query \
--root ./ragtest \
--method local \
"谁是Scrooge？他和哪些人有主要关系？"

结论

通过本地部署的Ollama模型，GraphRAG系统可以帮助你快速建立一个高效的文档问答系统，完全摆脱对外部API的依赖。这不仅在处理大规模数据时能提供更高的安全性和隐私保障，还可以大大降低使用成本。你可以根据需求灵活调整模型和配置，打造适合自己的问答解决方案。

更多详细的配置和查询方式，可以参考官方文档来深入了解GraphRAG的强大功能。