在ollama下部署DeepSeek-r1模型(linux机器)

1.ollama部署参照写文章-CSDN创作中心

2.ollama官网https://ollama.com/download/linux上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化

使用命令执行

ollama run deepseek-r1:7b

上面的命令由于网络太卡导致一直下载不下来,因此使用离线的安装方法进行安装

DeepSeek-R1-Distill-Qwen-7B-GGUF · 模型库

在存放 .gguf 文件的目录下,创建一个名为 Modelfile 的文件(无后缀),内容如下:

vim Modelfile

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

注意:将文件名替换为你实际下载的文件名。

导入模型

在终端执行以下命令,将本地文件注册到 Ollama:

ollama create deepseek-r1:7b -f Modelfile

运行模型

导入成功后,即可离线运行:

ollama run deepseek-r1:7b

3.配置deepseek可视化界面:

yum install -y dos2unix

yum install -y wget

下载InstallDocker.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

和InstallDockerCompose.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

这两个文件

然后完成docker和docker compose的安装

#安装docker

chmod +x ./InstallDocker.sh

dos2unix InstallDocker.sh

./InstallDocker.sh 26.* 192.168.40.160

#安装docker compose

chmod +x ./InstallDockerCompose.sh

dos2unix InstallDockerCompose.sh

./InstallDockerCompose.sh

执行以下命令直接拉取镜像并启动容器:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

对接本地 Ollama 服务‌

浏览器访问 http://你的服务器IP:3000,首次打开会提示注册管理员账号。

进入后台设置 → 模型管理,在 Ollama API 地址栏填入 http://127.0.0.1:11434,保存后系统会自动扫描本地已导入的 deepseek-r1:7b 模型。

此时网页可能还是无法获取模型需要做如下修改:

sudo mkdir -p /etc/systemd/system/ollama.service.d

vim /etc/systemd/system/ollama.service.d/override.conf

输入:

Service

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

保存退出

然后再将上面的 Ollama API地址,换成http://你服务器的ip:11434,保存后就可以看见模型了

开始使用‌

在对话页面顶部的模型下拉菜单中选择 deepseek-r1:7b,即可直接在可视化界面中与 DeepSeek 模型交互。

相关推荐
程序员清风2 小时前
数据处理脚本工程化:日志、配置、命令行与测试
服务器·开发语言·数据库
readhere2 小时前
从ZYNQ7000开发板,学会启动嵌入式Linux系统——入门学习:EBAZ4205篇目录
linux·启动·嵌入式linux·zynq7000·ebaz4205
打工仔折腾 AI3 小时前
在 Ubuntu ARM64 部署 Q1 V3.0 MuJoCo 模型:加载、单步推理与执行器响应解析
linux·运维·人工智能·python·深度学习·ubuntu·性能优化
yyuuuzz3 小时前
跨境站点日志时区混乱的排查记录
运维·服务器·网络·云计算·aws·1024程序员节
‎ദ്ദിᵔ.˛.ᵔ₎4 小时前
关于Linux 线程局部存储的认识
linux·运维
GlobalInfo4 小时前
全球及中国风电叶片检测机器人行业研究报告(2026版):市场现状、行业前景与占有率分析
运维·网络·人工智能·机器人
数字新视界5 小时前
一体化机柜在数据中心运维中的创新应用与优势分析
大数据·服务器·数据库·动环监控系统·动力与环境监控系统
隔窗听雨眠5 小时前
KingbaseES平替全链路实践:从迁移评估到可持续运维
运维
skywalk81636 小时前
登到192.168.1.5那台机器,看看今天白天,大约从早晨到晚上,都卡住了。看看因为什么卡住,为什么卡住而没有杀死那个导致卡死的进程,为什么
运维·系统·freebsd
运维行者_6 小时前
网络监控工具怎么选?从设备监控到智能运维的能力清单
运维·服务器·开发语言·网络·人工智能·支持向量机·php