从零实现本地大模型RAG部署

1. RAG概念

RAG(Retrieval-Augmented Generation)即检索增强生成,是一种结合信息检索与大型语言模型(大模型)的技术。从外部知识库(如文档、数据库或网页)中实时检索相关信息,并将其作为输入提供给 大模型,从而增强模型生成答案的能力,具体是指在大模型生成回答之前,先从知识库中查找相关的知识内容,增强信息生成过程中的知识库中的内容,从而提升生成的质量和准确性,这一过程分为三个阶段:

检索 :使用向量数据库和近似最近邻(ANN)算法快速定位与查询相关的文本片段。
融合 :将检索到的信息处理后与原始查询结合,形成扩展的上下文。
生成:大模型 基于融合后的上下文生成最终答案,减少"幻觉"现象。

2. RAGFlow 部署

RAGFlow是一个基于深度文档理解的开源RAG引擎。它为任何规模的企业提供了一个简化的RAG工作流程,结合LLM(大型语言模型)提供真实的问答功能,并得到各种复杂格式数据的充分引用。

2.1 源码加载

bash 复制代码
# 网盘地址: https://pan.baidu.com/s/1m0nUnq5po4zpnIWPvU_obw?pwd=zhen
git clone git@github.com:infiniflow/ragflow.git

2.2 修改配置版本

bash 复制代码
$ cd ragflow/docker
# 修改配置文件安装v0.17.2,默认是v0.17.2-slim
nano .env
RAGFlow 镜像标签 镜像大小 (GB) 具备嵌入模型 是否稳定版
v0.17.2 ≈9 ✔️ 是
v0.17.2-slim ≈2 ❌ 是
nightly ≈9 ✔️ 否
nightly-slim ≈2 ❌ 否

2.3 docker执行安装

bash 复制代码
cd 
# 仅使用CPU 执行任务:
# docker compose -f docker-compose.yml up -d
# 使用 GPU 加速:
docker compose -f docker-compose-gpu.yml up -d


3. 运行效果

bash 复制代码
http://localhost:80


相关推荐
LiaoWL1231 天前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag
一起学安全技术1 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
学无止境小袁同学2 天前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
2601_967987372 天前
AI加速波:大模型应用开发主要做哪些工作?
rag·提示词工程·agent开发·ai大模型应用开发·服务封装
一起学安全技术2 天前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
东莞市云毅网络有限公司3 天前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
一条大祥脚3 天前
Agent Memory 全解析:从 SQLite、向量库 + RAG 到 Zep、Mem0
sqlite·agent·rag·智能体记忆
nice_lcj5204 天前
【从零理解 Spring AI · 13】RAG 要解决什么:把“闭卷考试“变成“开卷“
java·spring·检索增强·rag·spring ai·ai应用开发
Dawson Zhu4 天前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
AI-Frontiers4 天前
从RAG到知识图谱再到Agent工作流,中间还差一层本体论
agent·rag