DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

DeepSeek 大模型 + LlamaIndex + MySQL 数据库 + 知识文档 实现简单 RAG 系统

以下是一个使用 DeepSeek 大模型 (假设为一个高性能的中文大模型)、LlamaIndexMySQL 数据库知识文档 实现简单 RAG(检索增强生成)系统的完整示例。该示例将涵盖从数据准备到最终响应生成的全过程,并附带详细代码和注释。


1. 环境准备

1.1 安装依赖

首先,确保安装了必要的 Python 库:

bash 复制代码
pip install llama-index deepseek-cpm mysql-connector-python
1.2 准备 MySQL 数据库

假设我们有一个简单的 MySQL 数据库,包含一个 documents 表,结构如下:

sql 复制代码
CREATE TABLE documents (
    id INT AUTO_INCREMENT PRIMARY KEY,
    content TEXT
);

插入一些示例数据:

sql 复制代码
INSERT INTO documents (content) VALUES 
('去年公司的营收为10亿元人民币。'),
('今年计划增加研发投入,预算为2亿元。');
1.3 准备知识文档

假设我们有一份知识文档 knowledge.txt,内容如下:

复制代码
公司成立于2010年,专注于技术研发。
去年的研发投入为5亿元。

2. 数据加载与索引构建

2.1 从 MySQL 数据库加载数据
python 复制代码
import mysql.connector

def load_data_from_mysql():
    # 连接 MySQL 数据库
    conn = mysql.connector.connect(
        host="localhost",
        user="yourusername",
        password="yourpassword",
        database="yourdatabase"
    )
    cursor = conn.cursor()

    # 查询 documents 表中的所有记录
    cursor.execute("SELECT content FROM documents")
    rows = cursor.fetchall()

    # 将查询结果转换为文本列表
    documents = [row[0] for row in rows]

    cursor.close()
    conn.close()

    return documents

# 加载 MySQL 数据
mysql_documents = load_data_from_mysql()
print("Loaded from MySQL:", mysql_documents)
2.2 从知识文档加载数据
python 复制代码
def load_data_from_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        content = file.read()
    return [content]

# 加载知识文档
file_documents = load_data_from_file('knowledge.txt')
print("Loaded from file:", file_documents)
2.3 合并数据并构建索引
python 复制代码
from llama_index import SimpleDirectoryReader, GPTListIndex, Document

def build_index(documents):
    # 将文档列表转换为 Document 对象
    docs = [Document(text) for text in documents]
    
    # 构建索引
    index = GPTListIndex.from_documents(docs)
    return index

# 合并来自 MySQL 和文件的数据
all_documents = mysql_documents + file_documents
print("All documents:", all_documents)

# 构建索引
index = build_index(all_documents)

3. RAG 流程实现

3.1 定义查询函数
python 复制代码
def query_index(index, query_text):
    response = index.query(query_text)
    return response.response

# 测试查询
query = "去年公司的研发投入是多少?"
response = query_index(index, query)
print("Query Response:", response)
3.2 结合 DeepSeek 大模型生成最终回答

假设 deepseek_cpm 是一个封装好的 DeepSeek 大模型调用接口:

python 复制代码
import deepseek_cpm

def generate_response_with_model(query, context):
    prompt = f"问题: {query}\n上下文: {context}\n回答:"
    response = deepseek_cpm.generate(prompt)
    return response

# 获取检索结果作为上下文
context = query_index(index, query)
final_response = generate_response_with_model(query, context)
print("Final Response with Model:", final_response)

4. 完整代码示例

以下是将上述步骤整合在一起的完整代码示例:

python 复制代码
import mysql.connector
from llama_index import SimpleDirectoryReader, GPTListIndex, Document
import deepseek_cpm

# 1. 从 MySQL 数据库加载数据
def load_data_from_mysql():
    conn = mysql.connector.connect(
        host="localhost",
        user="yourusername",
        password="yourpassword",
        database="yourdatabase"
    )
    cursor = conn.cursor()
    cursor.execute("SELECT content FROM documents")
    rows = cursor.fetchall()
    documents = [row[0] for row in rows]
    cursor.close()
    conn.close()
    return documents

# 2. 从知识文档加载数据
def load_data_from_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        content = file.read()
    return [content]

# 3. 合并数据并构建索引
def build_index(documents):
    docs = [Document(text) for text in documents]
    index = GPTListIndex.from_documents(docs)
    return index

# 4. 定义查询函数
def query_index(index, query_text):
    response = index.query(query_text)
    return response.response

# 5. 结合 DeepSeek 大模型生成最终回答
def generate_response_with_model(query, context):
    prompt = f"问题: {query}\n上下文: {context}\n回答:"
    response = deepseek_cpm.generate(prompt)
    return response

# 主程序
if __name__ == "__main__":
    # 加载数据
    mysql_documents = load_data_from_mysql()
    file_documents = load_data_from_file('knowledge.txt')
    all_documents = mysql_documents + file_documents

    # 构建索引
    index = build_index(all_documents)

    # 测试查询
    query = "去年公司的研发投入是多少?"
    context = query_index(index, query)
    final_response = generate_response_with_model(query, context)

    print("Final Response with Model:", final_response)

5. 表格整理总结

步骤 操作内容 注意事项
1. 环境准备 安装必要库,准备 MySQL 数据库和知识文档。 确保数据库连接信息正确,文档路径有效。
2. 数据加载 从 MySQL 和知识文档中加载数据。 数据格式应统一,避免编码问题。
3. 索引构建 将加载的数据合并并构建 LlamaIndex 索引。 索引构建可能耗时,根据数据量选择合适索引类型。
4. RAG 查询 使用 LlamaIndex 进行检索,获取相关上下文。 查询语句应简洁明了,便于模型理解。
5. 模型生成 结合检索结果和原始查询,使用 DeepSeek 大模型生成最终回答。 提供足够上下文信息,避免模型"幻觉"现象。
6. 结果展示 将最终回答返回给用户。 格式化输出,提升用户体验。

6. 总结

通过上述步骤,我们实现了一个简单的 RAG 系统,该系统结合了 DeepSeek 大模型LlamaIndexMySQL 数据库知识文档,能够根据用户查询动态检索相关信息并生成准确的回答。此示例展示了 RAG 技术的基本流程和关键要点,适用于多种实际应用场景(如企业知识库、客服系统等)。

如果需要进一步优化或扩展功能(如多轮对话、错误处理等),可以根据具体需求进行调整。

相关推荐
陈卓41013 分钟前
MySQL-主从复制&分库分表
android·mysql·adb
牛客企业服务13 分钟前
2025年AI面试推荐榜单,数字化招聘转型优选
人工智能·python·算法·面试·职场和发展·金融·求职招聘
视觉语言导航44 分钟前
RAL-2025 | 清华大学数字孪生驱动的机器人视觉导航!VR-Robo:面向视觉机器人导航与运动的现实-模拟-现实框架
人工智能·深度学习·机器人·具身智能
IT项目管理1 小时前
达梦数据库DMHS介绍及安装部署
linux·数据库
**梯度已爆炸**1 小时前
自然语言处理入门
人工智能·自然语言处理
你都会上树?1 小时前
MySQL MVCC 详解
数据库·mysql
大春儿的试验田1 小时前
高并发收藏功能设计:Redis异步同步与定时补偿机制详解
java·数据库·redis·学习·缓存
ctrlworks1 小时前
楼宇自控核心功能:实时监控设备运行,快速诊断故障,赋能设备寿命延长
人工智能·ba系统厂商·楼宇自控系统厂家·ibms系统厂家·建筑管理系统厂家·能耗监测系统厂家
Ein hübscher Kerl.2 小时前
虚拟机上安装 MariaDB 及依赖包
数据库·mariadb
长征coder2 小时前
AWS MySQL 读写分离配置指南
mysql·云计算·aws