LlamaIndex+Ollama构建《劳动法》问答机器人

LlamaIndex+Ollama构建《劳动法》问答机器人

本文将一步一步引导大家如何使用LlamaIndex和Ollama构建一个针对《劳动法》的问答机器人。这个机器人能够理解并回答关于这本劳动法的各种问题。

Ollama安装

Ollama简介

Ollama 是一个强大的开源工具，用于在本地计算机上运行、管理和部署大型语言模型(LLMs)。它简化了下载和运行各种开源语言模型的过程，使开发者能够轻松地在本地环境中利用这些先进的AI技术。

核心特点

本地运行：所有模型都在你的设备上运行，无需依赖云服务，保护隐私和数据安全
跨平台支持：支持 macOS、Linux 和 Windows
模型管理：轻松下载、更新和管理不同版本的模型
简单易用：通过命令行界面提供直观的操作方式
丰富的模型库：支持 Llama、Qwen、Gemma、Phi等多种开源模型
REST API：提供API接口，方便与其他应用集成

基础安装

Ollama官网地址：ollama.com/

Windows下载安装包安装即可，Linux和macOS执行下面的脚本安装。

sh 复制代码

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，执行下面命令，显示Ollama is running则表示安装成功。

sh 复制代码

curl localhost:11434

模型下载

Ollama模型列表：ollama.com/search

sh 复制代码

# 下载问答模型
ollama pull qwen2.5:0.5b

# 下载Embedding模型
ollama pull bge-m3

Jupyter安装

sh 复制代码

# 安装jupyter
pip install jupyter
# 创建工作目录
mkdir workdata/jupyter -p && cd workdata/jupyter
# 运行jupyter
jupyter-lab .

知识库构建

下载文档

下载文档并将txt或者pdf文件移至工作目录下的/data目录。

sh 复制代码

mkdir workdata/jupyter/data && mv 劳动法.pdf workdata/jupyter/data

安装依赖库

ipynb 复制代码

!pip install llama-index ollama chromadb
!pip install llama-index-vector-stores-chroma llama-index-embeddings-ollama

加载文档

使用LlamaIndex核心库的SimpleDirectoryReader阅读器加载文档。

python 复制代码

from llama_index.core import SimpleDirectoryReader
documents = SimpleDirectoryReader('./data/').load_data()
documents

切分文档

使用LlamaIndex核心库节点解析模块的SentenceSplitter(按照句子切分)拆分模块来拆分文档。

python 复制代码

from llama_index.core.node_parser import SentenceSplitter

parser = SentenceSplitter(
    chunk_size=512,
    chunk_overlap=20
)

nodes = parser.get_nodes_from_documents(documents)
nodes

chunk_size: 分块大小，每个文本块的最大长度。
chunk_overlap: 分块重叠，相邻文本块的重叠部分大小，一般为10%-20%。

存储文档

python 复制代码

# 导入chroma向量库
import chromadb
# 导入OllamaEmbedding模块
from llama_index.embeddings.ollama import OllamaEmbedding
# 导入存储上下文&向量索引模块
from llama_index.core import StorageContext, VectorStoreIndex
# 导入Chroma的向量存储模块
from llama_index.vector_stores.chroma import ChromaVectorStore

# 向量库连接
chroma_client = chromadb.PersistentClient('./data/ldf_chroma_db')

# 创建集合（collection）
collection = chroma_client.create_collection('ldf')

# 实例化向量模型
embed_model = OllamaEmbedding(
    model_name='bge-m3'
)

# 实例化向量存储
vector_store = ChromaVectorStore(chroma_collection=collection)

# 实例化存储上下文
storage_context = StorageContext.from_defaults(vector_store=vector_store)

# 索引文档并存入向量库
index = VectorStoreIndex(
    nodes=nodes,
    storage_context=storage_context,
    embed_model=embed_model,
    show_progress=True
)

等待索引完成，到这里，我们已经完成的《劳动法》向量库的构建工作。

机器人构建

python 复制代码

import ollama
from typing import List

def retrieve_documents(query: str, top_k: int = 3) -> List[str]:
    """检索相关文档"""
    results = collection.query(
        query_embeddings=embed_model.get_query_embedding(query),
        n_results=top_k
    )
    return results['documents'][0]

def generate_answer(context: List[str], question: str) -> str:
    """生成回答"""
    context_str = "\n".join([f"[{i+1}] {doc}" for i, doc in enumerate(context)])
    
    prompt = f"""
    【系统指令】
    你是一个法律专家，请根据以下资料回答问题。
    
    【参考资料】
    {context_str}
    
    【用户问题】
    {question}
    
    【回答要求】
    1. 答案必须来自参考资料
    2. 保持客观准确
    3. 使用中文回答
    4. 不确定时回答"资料未提及"
    """
    
    response = ollama.generate(
        model="qwen2.5:0.5b",
        prompt=prompt,
        options={"temperature": 0.3}
    )
    return response['response']
    
def ask_rag(question: str) -> str:
    """基于知识库的RAG回答"""
    relevant_docs = retrieve_documents(question)
    print(relevant_docs)
    print('='*100)
    answer = generate_answer(relevant_docs, question)
    return answer

测试效果

......剩下的大家可以自己试试😁😁😁