DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

以下是一个使用 DeepSeek 大模型 (假设为一个高性能的中文大模型)、LlamaIndexMySQL 数据库知识文档 实现简单 RAG(检索增强生成)系统的完整示例。该示例将涵盖从数据准备到最终响应生成的全过程,并附带详细代码和注释。


1. 环境准备

1.1 安装依赖

首先,确保安装了必要的 Python 库:

bash 复制代码
pip install llama-index deepseek-cpm mysql-connector-python
1.2 准备 MySQL 数据库

假设我们有一个简单的 MySQL 数据库,包含一个 documents 表,结构如下:

sql 复制代码
CREATE TABLE documents (
    id INT AUTO_INCREMENT PRIMARY KEY,
    content TEXT
);

插入一些示例数据:

sql 复制代码
INSERT INTO documents (content) VALUES 
('去年公司的营收为10亿元人民币。'),
('今年计划增加研发投入,预算为2亿元。');
1.3 准备知识文档

假设我们有一份知识文档 knowledge.txt,内容如下:

复制代码
公司成立于2010年,专注于技术研发。
去年的研发投入为5亿元。

2. 数据加载与索引构建

2.1 从 MySQL 数据库加载数据
python 复制代码
import mysql.connector

def load_data_from_mysql():
    # 连接 MySQL 数据库
    conn = mysql.connector.connect(
        host="localhost",
        user="yourusername",
        password="yourpassword",
        database="yourdatabase"
    )
    cursor = conn.cursor()

    # 查询 documents 表中的所有记录
    cursor.execute("SELECT content FROM documents")
    rows = cursor.fetchall()

    # 将查询结果转换为文本列表
    documents = [row[0] for row in rows]

    cursor.close()
    conn.close()

    return documents

# 加载 MySQL 数据
mysql_documents = load_data_from_mysql()
print("Loaded from MySQL:", mysql_documents)
2.2 从知识文档加载数据
python 复制代码
def load_data_from_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        content = file.read()
    return [content]

# 加载知识文档
file_documents = load_data_from_file('knowledge.txt')
print("Loaded from file:", file_documents)
2.3 合并数据并构建索引
python 复制代码
from llama_index import SimpleDirectoryReader, GPTListIndex, Document

def build_index(documents):
    # 将文档列表转换为 Document 对象
    docs = [Document(text) for text in documents]
    
    # 构建索引
    index = GPTListIndex.from_documents(docs)
    return index

# 合并来自 MySQL 和文件的数据
all_documents = mysql_documents + file_documents
print("All documents:", all_documents)

# 构建索引
index = build_index(all_documents)

3. RAG 流程实现

3.1 定义查询函数
python 复制代码
def query_index(index, query_text):
    response = index.query(query_text)
    return response.response

# 测试查询
query = "去年公司的研发投入是多少?"
response = query_index(index, query)
print("Query Response:", response)
3.2 结合 DeepSeek 大模型生成最终回答

假设 deepseek_cpm 是一个封装好的 DeepSeek 大模型调用接口:

python 复制代码
import deepseek_cpm

def generate_response_with_model(query, context):
    prompt = f"问题: {query}\n上下文: {context}\n回答:"
    response = deepseek_cpm.generate(prompt)
    return response

# 获取检索结果作为上下文
context = query_index(index, query)
final_response = generate_response_with_model(query, context)
print("Final Response with Model:", final_response)

4. 完整代码示例

以下是将上述步骤整合在一起的完整代码示例:

python 复制代码
import mysql.connector
from llama_index import SimpleDirectoryReader, GPTListIndex, Document
import deepseek_cpm

# 1. 从 MySQL 数据库加载数据
def load_data_from_mysql():
    conn = mysql.connector.connect(
        host="localhost",
        user="yourusername",
        password="yourpassword",
        database="yourdatabase"
    )
    cursor = conn.cursor()
    cursor.execute("SELECT content FROM documents")
    rows = cursor.fetchall()
    documents = [row[0] for row in rows]
    cursor.close()
    conn.close()
    return documents

# 2. 从知识文档加载数据
def load_data_from_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        content = file.read()
    return [content]

# 3. 合并数据并构建索引
def build_index(documents):
    docs = [Document(text) for text in documents]
    index = GPTListIndex.from_documents(docs)
    return index

# 4. 定义查询函数
def query_index(index, query_text):
    response = index.query(query_text)
    return response.response

# 5. 结合 DeepSeek 大模型生成最终回答
def generate_response_with_model(query, context):
    prompt = f"问题: {query}\n上下文: {context}\n回答:"
    response = deepseek_cpm.generate(prompt)
    return response

# 主程序
if __name__ == "__main__":
    # 加载数据
    mysql_documents = load_data_from_mysql()
    file_documents = load_data_from_file('knowledge.txt')
    all_documents = mysql_documents + file_documents

    # 构建索引
    index = build_index(all_documents)

    # 测试查询
    query = "去年公司的研发投入是多少?"
    context = query_index(index, query)
    final_response = generate_response_with_model(query, context)

    print("Final Response with Model:", final_response)

5. 表格整理总结

步骤 操作内容 注意事项
1. 环境准备 安装必要库,准备 MySQL 数据库和知识文档。 确保数据库连接信息正确,文档路径有效。
2. 数据加载 从 MySQL 和知识文档中加载数据。 数据格式应统一,避免编码问题。
3. 索引构建 将加载的数据合并并构建 LlamaIndex 索引。 索引构建可能耗时,根据数据量选择合适索引类型。
4. RAG 查询 使用 LlamaIndex 进行检索,获取相关上下文。 查询语句应简洁明了,便于模型理解。
5. 模型生成 结合检索结果和原始查询,使用 DeepSeek 大模型生成最终回答。 提供足够上下文信息,避免模型"幻觉"现象。
6. 结果展示 将最终回答返回给用户。 格式化输出,提升用户体验。

6. 总结

通过上述步骤,我们实现了一个简单的 RAG 系统,该系统结合了 DeepSeek 大模型LlamaIndexMySQL 数据库知识文档,能够根据用户查询动态检索相关信息并生成准确的回答。此示例展示了 RAG 技术的基本流程和关键要点,适用于多种实际应用场景(如企业知识库、客服系统等)。

如果需要进一步优化或扩展功能(如多轮对话、错误处理等),可以根据具体需求进行调整。

相关推荐
JNU freshman4 分钟前
计算机视觉 之 经典模型汇总
人工智能·计算机视觉
苏苏susuus8 分钟前
NLP:RNN文本生成案例分享
人工智能·rnn·自然语言处理
若兰幽竹26 分钟前
【从零开始编写数据库:基于Python语言实现数据库ToyDB的ACID特性】
数据库·python
东方佑27 分钟前
仅27M参数!SamOutVX轻量级语言模型刷新认知,小身材也有大智慧
人工智能·语言模型·自然语言处理
宇钶宇夕28 分钟前
S7-200 SMART CPU 密码清除全指南:从已知密码到忘记密码的解决方法
运维·服务器·数据库·程序人生·自动化
东临碣石8228 分钟前
【AI论文】OmniPart:基于语义解耦与结构连贯性的部件感知三维生成
人工智能
周杰伦的稻香36 分钟前
MySQL密码管理器“mysql_config_editor“
数据库·mysql
云朵大王41 分钟前
SQL 视图与事务知识点详解及练习题
java·大数据·数据库
啾啾Fun1 小时前
咨询导览,AI发展趋势
人工智能
向阳逐梦1 小时前
PID控制算法理论学习基础——单级PID控制
人工智能·算法