【自然语言处理与大模型】Windows安装RAGFlow并接入本地Ollama模型

本文给大家带来一个实用的RAG框架------RAGFlow。我们来看看它的自我介绍吧!

还是老规矩,它是什么?有什么用?这些官方文档都可以简单的查到(官方中文README_zh.md)。下面我带大家一步步安装并实现一个知识库问答吧!

(1)快速安装

1、拉取官方github上的ragflow仓库

bash 复制代码
git clone https://github.com/infiniflow/ragflow.git

2、进入ragflow下面的docker目录,执行docker compose命令进行本地安装

bash 复制代码
# 进入docker目录中
cd ragflow/docker

# 我们安装GPU版本的
docker compose -f docker-compose-gpu.yml up -d

3、网页输入localhost进入ragflow的使用界面

(2)设置默认模型

4、点击头像进入设置,在模型供应商里面配置大模型

5、 因为要使用本地部署的模型,所以选择Ollama是最简单的

6、embedding模型也可以选择qwen3:4b

【坑】这里添加失败了,原因是Ollama的服务默认不是所有地址都能访问的,所以我们要去设置一个HOST环境,让宿主机的IP也能访问Ollama的API。

7、先配置一下Docker的.env文件

8、在.env文件里面添加环境变量,这样Docker里面的ragflow就可以正确访问Ollama的API

bash 复制代码
# 配置Ollama服务的宿主机IP
OLLAMA_API_BASE_URL=http://10.170.151.170:11434

# 兼容OpenAI的API
CUSTOM_OPENAI_API_BASE_URL=http://10.170.151.170:8000

9、再去我自己的电脑(宿主机)去配置系统环境变量,允许ollama服务被所有地址访问

【坑】 配置好HOST之后一定要重启Ollama,不然不会生效

10、我们继续配置Ollama模型

11、默认已经安装了通义千问的向量模型,给它填入API KEY

【注】现在去阿里云百炼注册账号,可以获得每个模型免费100万的额度!!!跳转链接:阿里云百炼https://bailian.console.aliyun.com/

(3)创建知识库

12、点击上方的知识库去创建一个

13、添加文件成功之后,进行文本转向量处理

14、进行一些必要的配置(这些配置参数自行去官方doc里面查)

RAGFlow官方文档https://ragflow.io/docs/dev/

(4)创建基于RAG的聊天

15、点击上方的聊天,新建一个助理

16、测试RAG对话

相关推荐
九年义务漏网鲨鱼1 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
元宇宙时间2 小时前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享2 小时前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
产品经理独孤虾2 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
老任与码2 小时前
Spring AI Alibaba(1)——基本使用
java·人工智能·后端·springaialibaba
蹦蹦跳跳真可爱5892 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien3 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt
两棵雪松3 小时前
如何通过向量化技术比较两段文本是否相似?
人工智能
heart000_13 小时前
128K 长文本处理实战:腾讯混元 + 云函数 SCF 构建 PDF 摘要生成器
人工智能·自然语言处理·pdf
敲键盘的小夜猫3 小时前
LLM复杂记忆存储-多会话隔离案例实战
人工智能·python·langchain