从零实现本地大模型RAG部署

1. RAG概念

RAG(Retrieval-Augmented Generation)即检索增强生成,是一种结合信息检索与大型语言模型(大模型)的技术。从外部知识库(如文档、数据库或网页)中实时检索相关信息,并将其作为输入提供给 大模型,从而增强模型生成答案的能力,具体是指在大模型生成回答之前,先从知识库中查找相关的知识内容,增强信息生成过程中的知识库中的内容,从而提升生成的质量和准确性,这一过程分为三个阶段:

检索 :使用向量数据库和近似最近邻(ANN)算法快速定位与查询相关的文本片段。
融合 :将检索到的信息处理后与原始查询结合,形成扩展的上下文。
生成:大模型 基于融合后的上下文生成最终答案,减少"幻觉"现象。

2. RAGFlow 部署

RAGFlow是一个基于深度文档理解的开源RAG引擎。它为任何规模的企业提供了一个简化的RAG工作流程,结合LLM(大型语言模型)提供真实的问答功能,并得到各种复杂格式数据的充分引用。

2.1 源码加载

bash 复制代码
# 网盘地址: https://pan.baidu.com/s/1m0nUnq5po4zpnIWPvU_obw?pwd=zhen
git clone git@github.com:infiniflow/ragflow.git

2.2 修改配置版本

bash 复制代码
$ cd ragflow/docker
# 修改配置文件安装v0.17.2,默认是v0.17.2-slim
nano .env
RAGFlow 镜像标签 镜像大小 (GB) 具备嵌入模型 是否稳定版
v0.17.2 ≈9 ✔️
v0.17.2-slim ≈2
nightly ≈9 ✔️
nightly-slim ≈2

2.3 docker执行安装

bash 复制代码
cd 
# 仅使用CPU 执行任务:
# docker compose -f docker-compose.yml up -d
# 使用 GPU 加速:
docker compose -f docker-compose-gpu.yml up -d


3. 运行效果

bash 复制代码
http://localhost:80


相关推荐
deepdata_cn4 小时前
大语言模型(LLM)的基本概念
人工智能·语言模型·自然语言处理
LETTER•5 小时前
Llama 模型架构解析:从 Pre-RMSNorm 到 GQA 的技术演进
深度学习·语言模型·自然语言处理·llama
大千AI助手5 小时前
BIG-Bench:大规模语言模型能力的全面评估与挑战
人工智能·语言模型·自然语言处理·大模型·图灵测试·big-bench·bbh
m0_462185117 小时前
大模型部署基础设施搭建 - RAGFlow
语言模型
铮铭1 天前
【论文阅读】具身人工智能:从大型语言模型到世界模型
论文阅读·人工智能·语言模型
精致先生1 天前
多模态PDF解析
pdf·大模型·rag
rhy200605201 天前
SAM的低秩特性
人工智能·算法·机器学习·语言模型
胖墩会武术1 天前
大模型效果优化方案(经验分享)
人工智能·经验分享·python·语言模型
FunTester1 天前
以自然语言实现AI自动化Browser-use 详细介绍与使用指南
自动化测试·语言模型·ai大模型·自然语言·使用指南·browse_use
Zheng照邻、2 天前
VLM Prompt优化之 DynaPrompt(ICLR 2025)论文总结
人工智能·算法·语言模型·prompt·aigc