本地文档问答系统RAG全流程详解

系统需要 4 个阶段:


① 文件上传(Upload)

用户把 PDF、DOCX、TXT 等文件上传到 Django 后端。

后端做的事情:

  1. 接收文件 (request.FILES["file"])

  2. 保存到服务器本地目录:

    复制代码
    /your_project/uploads/
  3. 调用 process_file() 解析文件内容

    • PDF 用 PyPDF2

    • DOCX 用 python-docx

    • TXT 用 open()

  4. 把解析出的文本送入向量数据库(如 ChromaDB)

你现在的问题是 process_file 没有调用 → 必须在上传成功后调用它。


② 文档拆分 + 向量化(Embed)

读取到的文档要:

✔ 拆分成小段(chunk)

1 段大约 300~500 字。

✔ 每段生成 embedding 向量

使用:

复制代码
model = SentenceTransformer("all-MiniLM-L6-v2")

✔ 存储到 Chroma DB

格式类似:

segment_id text embedding
doc1-1 "第一段 ..." 0.21, ...
doc1-2 "第二段 ..." ...

你现在代码中已经初始化好了 Chroma,只需要在上传文件解析后调用:

复制代码
collection.add(
    documents=[chunk1, chunk2, ...],
    ids=["doc1-1", "doc1-2", ...]
)

③ 用户输入问题(Query)

前端发 POST 请求给:

复制代码
/send_message/

后端做两件事:

✔ 3.1 语义搜索(Retrieve)

例如:

复制代码
results = collection.query(query_texts=[user_question], n_results=3)

得到最相关的 2~3 条文档片段。

✔ 3.2 拼接上下文(Context)

复制代码
context = "\n".join(results["documents"][0])

④ 生成回答(Generate)

将用户原问题 + 文档上下文发给大模型:

Prompt 示意:

复制代码
你是一个图书问答助手。以下是从文档中检索的相关内容:

{context}

根据这些内容回答用户的问题:{query}

模型返回的 answer 发给前端。


🔥 整个系统流程图(简化)

复制代码
用户上传文件
       ↓
 Django后端接收文件
       ↓
   process_file()
       ↓
 文档拆分 + 向量化
       ↓
   存入 Chroma DB
       ↓
============================
         用户提问
============================
       ↓
   Retrieve(语义搜索)
       ↓
  返回最相关文档片段
       ↓
 拼接 Prompt + 文档
       ↓
   大模型生成回答
       ↓
  返回答案给前端

⭐ 为你总结成一句话:

上传文件 → 文档解析 → 向量数据库存储 → 用户提问 → 检索相关文档 → 大模型基于文档回答问题。

相关推荐
大刚测试开发实战3 分钟前
TestHub V0.2.2版本发布,附更新指南
人工智能
冬奇Lab1 小时前
Agent 系列(21):Harness 测试工程——45 个测试怎么设计,以及它发现了什么 bug
人工智能·llm·agent
冬奇Lab1 小时前
每日一个开源项目(第133篇):EchoBird - 把 AI 工具的安装和部署做成傻瓜操作
人工智能·开源·资讯
IT_陈寒3 小时前
Redis的SETNX并发问题让我加了三天班
前端·人工智能·后端
用户5191495848454 小时前
Windows 渗透测试载荷加载器 POC 工具集
人工智能·aigc
大树884 小时前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
通信小呆呆5 小时前
当算法有了“五感”:多模态数据融合如何向人体感官协同学习?
人工智能·学习·算法·机器学习·机器人
施小赞5 小时前
普通 RAG vs GraphRAG 核心对比
人工智能·ai
EAIReport5 小时前
RuoYi-AI 企业级AI开发平台实战详解
人工智能
HelloWorld__来都来了5 小时前
【每日学术速报】2026-06-15
人工智能·具身智能