DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

以下是一个使用 DeepSeek 大模型 (假设为一个高性能的中文大模型)、LlamaIndexMySQL 数据库知识文档 实现简单 RAG(检索增强生成)系统的完整示例。该示例将涵盖从数据准备到最终响应生成的全过程,并附带详细代码和注释。


1. 环境准备

1.1 安装依赖

首先,确保安装了必要的 Python 库:

bash 复制代码
pip install llama-index deepseek-cpm mysql-connector-python
1.2 准备 MySQL 数据库

假设我们有一个简单的 MySQL 数据库,包含一个 documents 表,结构如下:

sql 复制代码
CREATE TABLE documents (
    id INT AUTO_INCREMENT PRIMARY KEY,
    content TEXT
);

插入一些示例数据:

sql 复制代码
INSERT INTO documents (content) VALUES 
('去年公司的营收为10亿元人民币。'),
('今年计划增加研发投入,预算为2亿元。');
1.3 准备知识文档

假设我们有一份知识文档 knowledge.txt,内容如下:

复制代码
公司成立于2010年,专注于技术研发。
去年的研发投入为5亿元。

2. 数据加载与索引构建

2.1 从 MySQL 数据库加载数据
python 复制代码
import mysql.connector

def load_data_from_mysql():
    # 连接 MySQL 数据库
    conn = mysql.connector.connect(
        host="localhost",
        user="yourusername",
        password="yourpassword",
        database="yourdatabase"
    )
    cursor = conn.cursor()

    # 查询 documents 表中的所有记录
    cursor.execute("SELECT content FROM documents")
    rows = cursor.fetchall()

    # 将查询结果转换为文本列表
    documents = [row[0] for row in rows]

    cursor.close()
    conn.close()

    return documents

# 加载 MySQL 数据
mysql_documents = load_data_from_mysql()
print("Loaded from MySQL:", mysql_documents)
2.2 从知识文档加载数据
python 复制代码
def load_data_from_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        content = file.read()
    return [content]

# 加载知识文档
file_documents = load_data_from_file('knowledge.txt')
print("Loaded from file:", file_documents)
2.3 合并数据并构建索引
python 复制代码
from llama_index import SimpleDirectoryReader, GPTListIndex, Document

def build_index(documents):
    # 将文档列表转换为 Document 对象
    docs = [Document(text) for text in documents]
    
    # 构建索引
    index = GPTListIndex.from_documents(docs)
    return index

# 合并来自 MySQL 和文件的数据
all_documents = mysql_documents + file_documents
print("All documents:", all_documents)

# 构建索引
index = build_index(all_documents)

3. RAG 流程实现

3.1 定义查询函数
python 复制代码
def query_index(index, query_text):
    response = index.query(query_text)
    return response.response

# 测试查询
query = "去年公司的研发投入是多少?"
response = query_index(index, query)
print("Query Response:", response)
3.2 结合 DeepSeek 大模型生成最终回答

假设 deepseek_cpm 是一个封装好的 DeepSeek 大模型调用接口:

python 复制代码
import deepseek_cpm

def generate_response_with_model(query, context):
    prompt = f"问题: {query}\n上下文: {context}\n回答:"
    response = deepseek_cpm.generate(prompt)
    return response

# 获取检索结果作为上下文
context = query_index(index, query)
final_response = generate_response_with_model(query, context)
print("Final Response with Model:", final_response)

4. 完整代码示例

以下是将上述步骤整合在一起的完整代码示例:

python 复制代码
import mysql.connector
from llama_index import SimpleDirectoryReader, GPTListIndex, Document
import deepseek_cpm

# 1. 从 MySQL 数据库加载数据
def load_data_from_mysql():
    conn = mysql.connector.connect(
        host="localhost",
        user="yourusername",
        password="yourpassword",
        database="yourdatabase"
    )
    cursor = conn.cursor()
    cursor.execute("SELECT content FROM documents")
    rows = cursor.fetchall()
    documents = [row[0] for row in rows]
    cursor.close()
    conn.close()
    return documents

# 2. 从知识文档加载数据
def load_data_from_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        content = file.read()
    return [content]

# 3. 合并数据并构建索引
def build_index(documents):
    docs = [Document(text) for text in documents]
    index = GPTListIndex.from_documents(docs)
    return index

# 4. 定义查询函数
def query_index(index, query_text):
    response = index.query(query_text)
    return response.response

# 5. 结合 DeepSeek 大模型生成最终回答
def generate_response_with_model(query, context):
    prompt = f"问题: {query}\n上下文: {context}\n回答:"
    response = deepseek_cpm.generate(prompt)
    return response

# 主程序
if __name__ == "__main__":
    # 加载数据
    mysql_documents = load_data_from_mysql()
    file_documents = load_data_from_file('knowledge.txt')
    all_documents = mysql_documents + file_documents

    # 构建索引
    index = build_index(all_documents)

    # 测试查询
    query = "去年公司的研发投入是多少?"
    context = query_index(index, query)
    final_response = generate_response_with_model(query, context)

    print("Final Response with Model:", final_response)

5. 表格整理总结

步骤 操作内容 注意事项
1. 环境准备 安装必要库,准备 MySQL 数据库和知识文档。 确保数据库连接信息正确,文档路径有效。
2. 数据加载 从 MySQL 和知识文档中加载数据。 数据格式应统一,避免编码问题。
3. 索引构建 将加载的数据合并并构建 LlamaIndex 索引。 索引构建可能耗时,根据数据量选择合适索引类型。
4. RAG 查询 使用 LlamaIndex 进行检索,获取相关上下文。 查询语句应简洁明了,便于模型理解。
5. 模型生成 结合检索结果和原始查询,使用 DeepSeek 大模型生成最终回答。 提供足够上下文信息,避免模型"幻觉"现象。
6. 结果展示 将最终回答返回给用户。 格式化输出,提升用户体验。

6. 总结

通过上述步骤,我们实现了一个简单的 RAG 系统,该系统结合了 DeepSeek 大模型LlamaIndexMySQL 数据库知识文档,能够根据用户查询动态检索相关信息并生成准确的回答。此示例展示了 RAG 技术的基本流程和关键要点,适用于多种实际应用场景(如企业知识库、客服系统等)。

如果需要进一步优化或扩展功能(如多轮对话、错误处理等),可以根据具体需求进行调整。

相关推荐
TDengine (老段)16 小时前
连接 TDengine 遇到报错 “failed to connect to server, reason: Connection refused” 怎么办?
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
insight^tkk16 小时前
【Docker】记录一次使用docker部署dify网段冲突的问题
运维·人工智能·docker·ai·容器
攻城狮7号16 小时前
AI+大数据时代:如何从架构到生态重构时序数据库的价值?
大数据·人工智能·时序数据库·apache iotdb·sql大模型
智能化咨询16 小时前
AI+大数据时代:时序数据库的生态重构与价值跃迁——从技术整合到行业落地
人工智能
paopaokaka_luck16 小时前
基于SpringBoot+Vue的社区诊所管理系统(AI问答、webSocket实时聊天、Echarts图形化分析)
vue.js·人工智能·spring boot·后端·websocket
工藤学编程16 小时前
零基础学AI大模型之RAG系统链路解析与Document Loaders多案例实战
人工智能
大千AI助手16 小时前
加权分位数直方图:提升机器学习效能的关键技术
人工智能·机器学习·xgboost·直方图·加权直方图·特征分裂
星期天要睡觉17 小时前
深度学习——基于ResNet18迁移学习的图像分类模型
人工智能·python·分类·迁移学习
sunkl_17 小时前
JoyAgent问数多表关联Bug修复
人工智能·自然语言处理
李慕婉学姐17 小时前
Springboot黄河文化科普网站5q37v(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
数据库·spring boot·后端