本地文档问答系统RAG全流程详解

系统需要 4 个阶段:


① 文件上传(Upload)

用户把 PDF、DOCX、TXT 等文件上传到 Django 后端。

后端做的事情:

  1. 接收文件 (request.FILES["file"])

  2. 保存到服务器本地目录:

    复制代码
    /your_project/uploads/
  3. 调用 process_file() 解析文件内容

    • PDF 用 PyPDF2

    • DOCX 用 python-docx

    • TXT 用 open()

  4. 把解析出的文本送入向量数据库(如 ChromaDB)

你现在的问题是 process_file 没有调用 → 必须在上传成功后调用它。


② 文档拆分 + 向量化(Embed)

读取到的文档要:

✔ 拆分成小段(chunk)

1 段大约 300~500 字。

✔ 每段生成 embedding 向量

使用:

复制代码
model = SentenceTransformer("all-MiniLM-L6-v2")

✔ 存储到 Chroma DB

格式类似:

segment_id text embedding
doc1-1 "第一段 ..." 0.21, ...
doc1-2 "第二段 ..." ...

你现在代码中已经初始化好了 Chroma,只需要在上传文件解析后调用:

复制代码
collection.add(
    documents=[chunk1, chunk2, ...],
    ids=["doc1-1", "doc1-2", ...]
)

③ 用户输入问题(Query)

前端发 POST 请求给:

复制代码
/send_message/

后端做两件事:

✔ 3.1 语义搜索(Retrieve)

例如:

复制代码
results = collection.query(query_texts=[user_question], n_results=3)

得到最相关的 2~3 条文档片段。

✔ 3.2 拼接上下文(Context)

复制代码
context = "\n".join(results["documents"][0])

④ 生成回答(Generate)

将用户原问题 + 文档上下文发给大模型:

Prompt 示意:

复制代码
你是一个图书问答助手。以下是从文档中检索的相关内容:

{context}

根据这些内容回答用户的问题:{query}

模型返回的 answer 发给前端。


🔥 整个系统流程图(简化)

复制代码
用户上传文件
       ↓
 Django后端接收文件
       ↓
   process_file()
       ↓
 文档拆分 + 向量化
       ↓
   存入 Chroma DB
       ↓
============================
         用户提问
============================
       ↓
   Retrieve(语义搜索)
       ↓
  返回最相关文档片段
       ↓
 拼接 Prompt + 文档
       ↓
   大模型生成回答
       ↓
  返回答案给前端

⭐ 为你总结成一句话:

上传文件 → 文档解析 → 向量数据库存储 → 用户提问 → 检索相关文档 → 大模型基于文档回答问题。

相关推荐
ksueh6 分钟前
AI网文创作软件实测:蛙趣拼文是我筛完留下的一款
人工智能·ai写作·ai工具·ai写小说
凯哥Java9 分钟前
写代码怎么避免逻辑漏洞?
java·开发语言·人工智能·自动化
是翎19 分钟前
AI开发工程师面试指南
人工智能·面试·职场和发展
水如烟24 分钟前
孤能子视角:AI→SI——一次关系场的剧烈重组
人工智能
Ivanqhz38 分钟前
层归一化、残差、前馈网络与激活函数简述
服务器·数据库·人工智能·深度学习·算法
Ai-_Man43 分钟前
您您这可以把Dola的多个会话比如说。左侧的多个会话一次性导出吗?不是单条会话里面的多次会对话。用AI导出鸭,答案是可以的
开发语言·前端·人工智能·小程序
海宇服务1 小时前
零信任架构实战:基于海宇运营商近3个月欠费次数构建自动化履约能力评估管线
运维·人工智能·架构·自动化
天涯明月19931 小时前
世界模型:原理、范式与工程实践
大数据·人工智能·大模型·具身智能·世界模型
秦先生在广东1 小时前
构建 Agent 就绪的数据库 OKF 知识包:Python 编译器实战
人工智能
秦先生在广东1 小时前
初创企业低成本增长的数字营销实战指南
人工智能