linux系统上使用docker进行ragflow的部署-测试

1. 安装docker

2. 安装ragflow 参照https://ragflow.io/docs/dev/

2.1 确保 vm.max_map_count ≥ 262144

检查 vm.max_map_count 的值使用命令`$ sysctl vm.max_map_count`。
如果不满足条件,则`$ sudo sysctl -w vm.max_map_count=262144`,将其设为262144(或任意大于它的数)
为了确保您的更改是永久性的,请在 /etc/sysctl.conf 中添加或更新 vm.max_map_count 值:
vm.max_map_count=262144

2.2 克隆存储库

$ git clone https://github.com/infiniflow/ragflow.git

2.3 构建预构建的 Docker 镜像并启动服务器

$ cd ragflow/docker

$ docker compose -f docker-compose.yml up -d

注:此步可能会出现连接不上docker hub的报错,更改镜像源即可,自行百度即可

2.4 在服务器启动并运行后检查服务器状态

$ docker logs -f ragflow-server

出现下列字样则表示成功


/ __ \ / | / // // / _ __
/ /
/ // /| | / / __ / /
/ // __ | | /| / /
/ , // ___ |/ // // __/ / // / / /| |/ |/ /
/
/ |
|// | |_/// // _ / |/|__/

在浏览器输入127.0.0.1即可进入ragflow页面,需要注册账号才可使用。

3.使用ollama配置本地大模型

3.1下载ollama

3.2 使用ollama下载要使用的模型(至少包括嵌入(embedding)和聊天模型(chat))

在ollama官网的搜索栏中输入自己要使用的大模型,在具体页面选择大模型的参数量,随机复制下载的命令行指令
chat模型以qwen2为例,搜索qwen2,选择qwen2:7b(可以使用CPU或GPU计算,如要使用显卡计算,则需要至少5G显存),复制右侧的命令`ollama run qwen2:7b`,等待下载完成即可。
embedding模型选用bge---m3。

3.3 连接到ragflow

首先确保ollama处于运行状态
输入`systemctl edit ollama.service`,在[Service] 下添加一行 (可以参考https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server)`Environment="OLLAMA_HOST=0.0.0.0"`,
也可以使用vim编辑器,编辑etc/systemd/system/ollama.service。编辑后打开该文件,确认成功添加。
然后重启服务`systemctl daemon-reload`
            `systemctl restart ollama`

打开ragflow,点击右上角头像进入设置界面,选择模型提供商,点击ollama图标,点击添加(注意要区分全半角的符号,一般全是半角)
类型:chat
名称:qwen2:7b
URL: 本机ip:11434  注:本机ip需要使用ip等指令进行查询。
查询本机ip的方法
命令行中输入ip addr | grep inet
第三行中的即为本机地址。
例如:

dutmm@dutmm:~$ ip addr | grep inet
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host 
inet 192.168.1.100/24 brd 192.168.1.255 scope global dynamic noprefixroute enp0s31f6
inet6 fe80::ef63:d2c9:127f:27ab/64 scope link noprefixroute 
inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
inet 172.18.0.1/16 brd 172.18.255.255 scope global br-fd4a4fcc230f
inet6 fe80::42:1eff:fe73:132/64 scope link 
inet6 fe80::d4e6:abff:feec:579/64 scope link 
inet6 fe80::9cef:bdff:fe6b:d54e/64 scope link 
inet6 fe80::2cb7:cff:fecc:4947/64 scope link 
inet6 fe80::fc5c:31ff:fefc:9c1c/64 scope link 
inet6 fe80::bcf7:a4ff:fe5f:593/64 scope link 

地址为 192.168.1.100
相关推荐
2101_824775824 分钟前
Linux(centOS)的安全命令
linux·安全·centos
weixi_kelaile5209 分钟前
ai智能语音电销机器人可以做哪些事情?
java·linux·服务器·人工智能·机器人·云计算·腾讯云
朝九晚五ฺ18 分钟前
【Linux探索学习】第九弹——Linux工具篇(四):项目自动化构建工具—make/Makefile
linux·运维·学习·ubuntu·自动化
菜菜-plus1 小时前
微服务技术,SpringCloudAlibaba,Redis,RocketMQ,Docker,分库分表
java·spring boot·redis·spring cloud·docker·微服务·java-rocketmq
瑕、疵1 小时前
使用Docker Compose简化微服务部署
docker·微服务·容器
lida20032 小时前
无人机救援系统简单解读
linux·无人机·openipc·wfb-ng
甲柒3 小时前
12-Docker发布微服务
java·docker·微服务
Arc星语5 小时前
Docker Redis集群3主3从模式
redis·docker
TensorFlowGAN5 小时前
rhcsa、ce复习(每日编辑,复习完为止)
linux·es
Drscq6 小时前
How to migrate a CentOS 8 to Rocky Linux 8.10
linux·运维·centos