在ollama下部署DeepSeek-r1模型(linux机器)

1.ollama部署参照写文章-CSDN创作中心

2.ollama官网https://ollama.com/download/linux上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化

使用命令执行

ollama run deepseek-r1:7b

上面的命令由于网络太卡导致一直下载不下来,因此使用离线的安装方法进行安装

DeepSeek-R1-Distill-Qwen-7B-GGUF · 模型库

在存放 .gguf 文件的目录下,创建一个名为 Modelfile 的文件(无后缀),内容如下:

vim Modelfile

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

注意:将文件名替换为你实际下载的文件名。

导入模型

在终端执行以下命令,将本地文件注册到 Ollama:

ollama create deepseek-r1:7b -f Modelfile

运行模型

导入成功后,即可离线运行:

ollama run deepseek-r1:7b

3.配置deepseek可视化界面:

yum install -y dos2unix

yum install -y wget

下载InstallDocker.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

和InstallDockerCompose.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

这两个文件

然后完成docker和docker compose的安装

#安装docker

chmod +x ./InstallDocker.sh

dos2unix InstallDocker.sh

./InstallDocker.sh 26.* 192.168.40.160

#安装docker compose

chmod +x ./InstallDockerCompose.sh

dos2unix InstallDockerCompose.sh

./InstallDockerCompose.sh

执行以下命令直接拉取镜像并启动容器:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

对接本地 Ollama 服务‌

浏览器访问 http://你的服务器IP:3000,首次打开会提示注册管理员账号。

进入后台设置 → 模型管理,在 Ollama API 地址栏填入 http://127.0.0.1:11434,保存后系统会自动扫描本地已导入的 deepseek-r1:7b 模型。

此时网页可能还是无法获取模型需要做如下修改:

sudo mkdir -p /etc/systemd/system/ollama.service.d

vim /etc/systemd/system/ollama.service.d/override.conf

输入:

Service

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

保存退出

然后再将上面的 Ollama API地址,换成http://你服务器的ip:11434,保存后就可以看见模型了

开始使用‌

在对话页面顶部的模型下拉菜单中选择 deepseek-r1:7b,即可直接在可视化界面中与 DeepSeek 模型交互。

相关推荐
考虑考虑1 小时前
nginx拦截url
运维·后端·nginx
速捷工控 PLC触摸屏还原程序3 小时前
欧姆龙NB上传密码忘了,换屏前怎么保留原程序?
运维·服务器·欧姆龙
方便面不加香菜3 小时前
Docker Volume -- 对照总结及综合实战案例操作演示
运维·docker·容器
爱勇宝3 小时前
SSL 证书别再手动续了:acme.sh + Let's Encrypt + 云厂商 DNS 全自动实战
运维·服务器
数据库小学妹5 小时前
数据库容量规划:四个数与扩容触发线
运维·数据库·后端
dingdingfish5 小时前
TLPI 第52章 读书笔记:POSIX Message Queues
linux·mq·ipc·posix·message·tlpi
wacsii6 小时前
【Linux进程(五)】进程控制全解析:从创建、终止、等待到程序替换
linux·服务器
七夜zippoe6 小时前
Nexent Linux 部署:用 deploy.sh
linux·服务器·docker·部署·ai智能体·nexent
去码头整点薯条987 小时前
NFS服务器
linux·运维·服务器