win10系统部署RAGFLOW+Ollama教程

本篇主要基于linux服务器部署ragflow+ollama,其他操作系统稍有差异但是大体一样。

一、先决条件

CPU ≥ 4核;

RAM ≥ 16 GB;

磁盘 ≥ 50 GB;

Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1。

如果尚未在本地计算机(Windows、Mac或Linux)上安装Docker,请参阅安装Docker引擎。


我的系统配置


二、启动RAGFLOW服务器

1、确保 vm.max_map_count ≥ 262144

在 Windows 10 系统上,WSL 2 是运行在虚拟机环境下的,因此直接通过 WSL 2 来检查 vm.max_map_count 的值并不适用。vm.max_map_count 是 Linux 内核的一个参数,而 WSL 2 的内核是托管在 Windows 上的,不能像RAGFLOW手册中那样的方式修改 vm.max_map_count值。

解决办法:

1、cmd命令行中输入下面命令进入WSL2的Linux终端

bash 复制代码
wsl

2、登录到您的 Linux 发行版

bash 复制代码
sudo su

3、临时修改 vm.max_map_count 参数(仅对当前对话有效)

bash 复制代码
echo 262144 > /proc/sys/vm/max_map_count

4、永久修改,编辑 /etc/sysctl.conf 文件(我们选择这种修改方式!)

bash 复制代码
echo "vm.max_map_count=262144" >> /etc/sysctl.conf

5、重新加载 sysctl 配置

bash 复制代码
sysctl -p

6、检查 vm.max_map_count 参数

bash 复制代码
cat /proc/sys/vm/max_map_count

成功截图如下

2、RAGFlow的拉取运行

bash 复制代码
git clone https://github.com/infiniflow/ragflow.git

遇到问题:

(1)访问不了github.com

解决办法:

见另外一篇博文win10系统访问不了github,com解决办法(亲测有效)

(2)git命令未安装

报错提示:

C:\Users\Administrator>git clone https://github.com/infiniflow/ragflow.git

'git' 不是内部或外部命令,也不是可运行的程序

或批处理文件。

C:\Users\Administrator>

解决办法:

访问Git官网下载最新版本的 Git 安装程序。

https://git-scm.com/downloads/win

运行安装程序

双击下载的安装程序,按照提示进行安装(可自定义安装位置)
一路默认即可。

添加到环境变量

添加 Git 的安装路径

我的路径:

E:\Program Files\Git\bin

注意:根据自己的git安装位置粘贴路径,环境变量粘贴到bin目录下

验证安装

注意:重新打开一个cmd窗口

bash 复制代码
git --version

下图为安装成功界面(版本信息)


再次运行git克隆仓库命令

bash 复制代码
git clone https://github.com/infiniflow/ragflow.git

如下拉取成功截图

运行

bash 复制代码
cd ragflow/docker
docker compose -f docker-compose.yml up -d

注意:镜像文件大约9GB,下载过程可能需要一些时间,请耐心等待。

3、确认服务器状态

bash 复制代码
docker logs -f ragflow-server

三、RAGFLOW配置 Ollama 连接大模型

1.打开浏览器输入

http://localhost:80

界面如下图所示

注册登录账号

登录后界面,选择配置模型

添加模型

我的基础URL

bash 复制代码
http://host.docker.internal:11434

注意:模型名称对应填好,不知道的使用命令查看一下复制过来

bash 复制代码
ollama list

关于基础URL的几点说明:

(1)Ollama和RAGFlow在同一台机器上运行,基本URL:

http://host.docker.internal:11434

(2)Ollama和RAGFlow在同一台机器上运行,并且Ollama或者RAGFLOW在Docker中,基本URL:

http://host.docker.internal:11434

(3)Ollama在与RAGFlow不同的机器上运行,基本URL:

http://<IP_OF_OLLAMA_MACHINE>:11434

注意:大家根据自己的实际情况填写基础URL


成功连接截图

四、创建知识库(可更新)

相关推荐
之墨_17 分钟前
【大语言模型】—— 自注意力机制及其变体(交叉注意力、因果注意力、多头注意力)的代码实现
人工智能·语言模型·自然语言处理
纳于大麓1 小时前
Kotlin基础语法
linux·windows·kotlin
takashi_void5 小时前
本地实现斯坦福小镇(利用大语言模型使虚拟角色自主发展剧情)类似项目“Microverse”
人工智能·语言模型·自然语言处理·godot·游戏程序·斯坦福小镇
呉師傅6 小时前
关于联想ThinkCentre M950t-N000 M大师电脑恢复预装系统镜像遇到的一点问题
运维·网络·windows·电脑
网安INF7 小时前
Python核心数据结构与函数编程
数据结构·windows·python·网络安全
渡我白衣9 小时前
未来的 AI 操作系统(二)——世界即界面:自然语言成为新的人机交互协议
人工智能·语言模型·人机交互
知识分享小能手11 小时前
uni-app 入门学习教程,从入门到精通,uni-app 基础知识详解 (2)
前端·javascript·windows·学习·微信小程序·小程序·uni-app
waving-black12 小时前
windows系统下安装测试kafka
windows·分布式·kafka
临街的小孩13 小时前
Docker 容器访问宿主机 Ollama 服务配置教程
llama·argflow
AIGC_北苏14 小时前
EvalScope模型压力测试实战
人工智能·语言模型·模型评估·框架评估