从零实现本地大模型RAG部署

1. RAG概念

RAG(Retrieval-Augmented Generation)即检索增强生成,是一种结合信息检索与大型语言模型(大模型)的技术。从外部知识库(如文档、数据库或网页)中实时检索相关信息,并将其作为输入提供给 大模型,从而增强模型生成答案的能力,具体是指在大模型生成回答之前,先从知识库中查找相关的知识内容,增强信息生成过程中的知识库中的内容,从而提升生成的质量和准确性,这一过程分为三个阶段:

检索 :使用向量数据库和近似最近邻(ANN)算法快速定位与查询相关的文本片段。
融合 :将检索到的信息处理后与原始查询结合,形成扩展的上下文。
生成:大模型 基于融合后的上下文生成最终答案,减少"幻觉"现象。

2. RAGFlow 部署

RAGFlow是一个基于深度文档理解的开源RAG引擎。它为任何规模的企业提供了一个简化的RAG工作流程,结合LLM(大型语言模型)提供真实的问答功能,并得到各种复杂格式数据的充分引用。

2.1 源码加载

bash 复制代码
# 网盘地址: https://pan.baidu.com/s/1m0nUnq5po4zpnIWPvU_obw?pwd=zhen
git clone git@github.com:infiniflow/ragflow.git

2.2 修改配置版本

bash 复制代码
$ cd ragflow/docker
# 修改配置文件安装v0.17.2,默认是v0.17.2-slim
nano .env
RAGFlow 镜像标签 镜像大小 (GB) 具备嵌入模型 是否稳定版
v0.17.2 ≈9 ✔️
v0.17.2-slim ≈2
nightly ≈9 ✔️
nightly-slim ≈2

2.3 docker执行安装

bash 复制代码
cd 
# 仅使用CPU 执行任务:
# docker compose -f docker-compose.yml up -d
# 使用 GPU 加速:
docker compose -f docker-compose-gpu.yml up -d


3. 运行效果

bash 复制代码
http://localhost:80


相关推荐
渡我白衣2 小时前
未来的 AI 操作系统(八)——灵知之门:当智能系统开始理解存在
人工智能·深度学习·opencv·机器学习·计算机视觉·语言模型·人机交互
从后端到QT8 小时前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
Qiuner9 小时前
快速入门LangChain4j Ollama本地部署与阿里百炼请求大模型
语言模型·langchain·nlp·llama·ollama
deephub16 小时前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
Aurora-silas20 小时前
LLM微调尝试——MAC版
人工智能·pytorch·深度学习·macos·机器学习·语言模型·自然语言处理
applepie_max21 小时前
GraphRAG本地部署 v2.7.0
python·rag·graphrag
wb043072011 天前
如何开发一个 IDEA 插件通过 Ollama 调用大模型为方法生成仙侠风格的注释
人工智能·语言模型·kotlin·intellij-idea
辣大辣条1 天前
LLAMA Factory 微调Qwen2.0-VL-2B视觉大模型
语言模型
星期天要睡觉1 天前
大模型(Large Language Model, LLM)——什么是大模型,大模型的基本原理、架构、流程
人工智能·python·ai·语言模型
言之。1 天前
大语言模型科普报告
人工智能·语言模型·自然语言处理