1. 安装docker
2. 安装ragflow 参照https://ragflow.io/docs/dev/
2.1 确保 vm.max_map_count ≥ 262144
检查 vm.max_map_count 的值使用命令`$ sysctl vm.max_map_count`。
如果不满足条件,则`$ sudo sysctl -w vm.max_map_count=262144`,将其设为262144(或任意大于它的数)
为了确保您的更改是永久性的,请在 /etc/sysctl.conf 中添加或更新 vm.max_map_count 值:
vm.max_map_count=262144
2.2 克隆存储库
$ git clone https://github.com/infiniflow/ragflow.git
2.3 构建预构建的 Docker 镜像并启动服务器
$ cd ragflow/docker
$ docker compose -f docker-compose.yml up -d
注:此步可能会出现连接不上docker hub的报错,更改镜像源即可,自行百度即可
2.4 在服务器启动并运行后检查服务器状态
$ docker logs -f ragflow-server
出现下列字样则表示成功
/ __ \ / | / // // / _ __
/ // // /| | / / __ / / / // __ | | /| / /
/ , // ___ |/ // // __/ / // / / /| |/ |/ /
// | |// | |_/// // _ / |/|__/
- Running on all addresses (0.0.0.0)
- Running on http://127.0.0.1:9380
- Running on http://x.x.x.x:9380
INFO:werkzeug:Press CTRL+C to quit
在浏览器输入127.0.0.1即可进入ragflow页面,需要注册账号才可使用。
3.使用ollama配置本地大模型
3.1下载ollama
3.2 使用ollama下载要使用的模型(至少包括嵌入(embedding)和聊天模型(chat))
在ollama官网的搜索栏中输入自己要使用的大模型,在具体页面选择大模型的参数量,随机复制下载的命令行指令
chat模型以qwen2为例,搜索qwen2,选择qwen2:7b(可以使用CPU或GPU计算,如要使用显卡计算,则需要至少5G显存),复制右侧的命令`ollama run qwen2:7b`,等待下载完成即可。
embedding模型选用bge---m3。
3.3 连接到ragflow
首先确保ollama处于运行状态
输入`systemctl edit ollama.service`,在[Service] 下添加一行 (可以参考https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server)`Environment="OLLAMA_HOST=0.0.0.0"`,
也可以使用vim编辑器,编辑etc/systemd/system/ollama.service。编辑后打开该文件,确认成功添加。
然后重启服务`systemctl daemon-reload`
`systemctl restart ollama`
打开ragflow,点击右上角头像进入设置界面,选择模型提供商,点击ollama图标,点击添加(注意要区分全半角的符号,一般全是半角)
类型:chat
名称:qwen2:7b
URL: 本机ip:11434 注:本机ip需要使用ip等指令进行查询。
查询本机ip的方法
命令行中输入ip addr | grep inet
第三行中的即为本机地址。
例如:
dutmm@dutmm:~$ ip addr | grep inet
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
inet 192.168.1.100/24 brd 192.168.1.255 scope global dynamic noprefixroute enp0s31f6
inet6 fe80::ef63:d2c9:127f:27ab/64 scope link noprefixroute
inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
inet 172.18.0.1/16 brd 172.18.255.255 scope global br-fd4a4fcc230f
inet6 fe80::42:1eff:fe73:132/64 scope link
inet6 fe80::d4e6:abff:feec:579/64 scope link
inet6 fe80::9cef:bdff:fe6b:d54e/64 scope link
inet6 fe80::2cb7:cff:fecc:4947/64 scope link
inet6 fe80::fc5c:31ff:fefc:9c1c/64 scope link
inet6 fe80::bcf7:a4ff:fe5f:593/64 scope link
地址为 192.168.1.100