在ollama下部署DeepSeek-r1模型(linux机器)

1.ollama部署参照写文章-CSDN创作中心

2.ollama官网https://ollama.com/download/linux上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化

使用命令执行

ollama run deepseek-r1:7b

上面的命令由于网络太卡导致一直下载不下来,因此使用离线的安装方法进行安装

DeepSeek-R1-Distill-Qwen-7B-GGUF · 模型库

在存放 .gguf 文件的目录下,创建一个名为 Modelfile 的文件(无后缀),内容如下:

vim Modelfile

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

注意:将文件名替换为你实际下载的文件名。

导入模型

在终端执行以下命令,将本地文件注册到 Ollama:

ollama create deepseek-r1:7b -f Modelfile

运行模型

导入成功后,即可离线运行:

ollama run deepseek-r1:7b

3.配置deepseek可视化界面:

yum install -y dos2unix

yum install -y wget

下载InstallDocker.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

InstallDockerCompose.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

这两个文件

然后完成docker和docker compose的安装

#安装docker

chmod +x ./InstallDocker.sh

dos2unix InstallDocker.sh

./InstallDocker.sh 26.* 192.168.40.160

#安装docker compose

chmod +x ./InstallDockerCompose.sh

dos2unix InstallDockerCompose.sh

./InstallDockerCompose.sh

执行以下命令直接拉取镜像并启动容器:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

对接本地 Ollama 服务‌

浏览器访问 http://你的服务器IP:3000,首次打开会提示注册管理员账号。

进入后台设置 → 模型管理,在 Ollama API 地址栏填入 http://127.0.0.1:11434,保存后系统会自动扫描本地已导入的 deepseek-r1:7b 模型。

此时网页可能还是无法获取模型需要做如下修改:

sudo mkdir -p /etc/systemd/system/ollama.service.d

vim /etc/systemd/system/ollama.service.d/override.conf

输入:

Service

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

保存退出

然后再将上面的 Ollama API地址,换成http://你服务器的ip:11434,保存后就可以看见模型了

开始使用‌

在对话页面顶部的模型下拉菜单中选择 deepseek-r1:7b,即可直接在可视化界面中与 DeepSeek 模型交互。

相关推荐
白猫不黑1 小时前
AI Agent自动化渗透测试实战:从原理到红队实践
运维·人工智能·web安全·网络安全·信息安全·渗透测试·自动化
hehelm1 小时前
仿muduo库实现高并发服务器—Channel类
linux·服务器·开发语言·网络·c++
七夜zippoe1 小时前
DolphinDB 2.x 集群监控运维平台实战:从指标采集到告警自愈
运维·集群·监控·告警·dolphindb·指标采集
末代iOS程序员华仔1 小时前
Cursor 编辑器 + Figma‑MCP 服务器(真正让 Codex 直接读取 Figma 链接,高级方案)
服务器·编辑器·figma
小此方1 小时前
Linux加餐(二):藏在Linux中的设计模式(二)单例模式与线程池
linux·单例模式·设计模式
猫吃了源码1 小时前
Linux系统制作 Ubuntu Server 24.04 启动U盘详细教程
linux·服务器·ubuntu
hehelm1 小时前
仿muduo库实现高并发服务器—EventLoop
linux·服务器·网络·c++
Lucky09281 小时前
codex 安装前置软件
linux·运维·macos
mengge.cloud1 小时前
0823Keepalived + LVS(DR) + MariaDB主主 小白完整实战教程
linux·运维·网络·oracle·负载均衡·mariadb·lvs