在ollama下部署DeepSeek-r1模型(linux机器)

1.ollama部署参照写文章-CSDN创作中心

2.ollama官网https://ollama.com/download/linux上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化

使用命令执行

ollama run deepseek-r1:7b

上面的命令由于网络太卡导致一直下载不下来,因此使用离线的安装方法进行安装

DeepSeek-R1-Distill-Qwen-7B-GGUF · 模型库

在存放 .gguf 文件的目录下,创建一个名为 Modelfile 的文件(无后缀),内容如下:

vim Modelfile

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

注意:将文件名替换为你实际下载的文件名。

导入模型

在终端执行以下命令,将本地文件注册到 Ollama:

ollama create deepseek-r1:7b -f Modelfile

运行模型

导入成功后,即可离线运行:

ollama run deepseek-r1:7b

3.配置deepseek可视化界面:

yum install -y dos2unix

yum install -y wget

下载InstallDocker.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

InstallDockerCompose.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

这两个文件

然后完成docker和docker compose的安装

#安装docker

chmod +x ./InstallDocker.sh

dos2unix InstallDocker.sh

./InstallDocker.sh 26.* 192.168.40.160

#安装docker compose

chmod +x ./InstallDockerCompose.sh

dos2unix InstallDockerCompose.sh

./InstallDockerCompose.sh

执行以下命令直接拉取镜像并启动容器:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

对接本地 Ollama 服务‌

浏览器访问 http://你的服务器IP:3000,首次打开会提示注册管理员账号。

进入后台设置 → 模型管理,在 Ollama API 地址栏填入 http://127.0.0.1:11434,保存后系统会自动扫描本地已导入的 deepseek-r1:7b 模型。

此时网页可能还是无法获取模型需要做如下修改:

sudo mkdir -p /etc/systemd/system/ollama.service.d

vim /etc/systemd/system/ollama.service.d/override.conf

输入:

Service

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

保存退出

然后再将上面的 Ollama API地址,换成http://你服务器的ip:11434,保存后就可以看见模型了

开始使用‌

在对话页面顶部的模型下拉菜单中选择 deepseek-r1:7b,即可直接在可视化界面中与 DeepSeek 模型交互。

相关推荐
一技安身21 小时前
【Docker】 镜像导出 & 导入,实验环境aarch64(arm64)Linux操作系统
linux·docker·容器
平头哥AI21 小时前
Day 22 _ 包装错误别丢链_%w、errors.Is 与 errors.As
android·服务器·学习·golang·go
代码村新手1 天前
Linux调试器-gdb的使用
linux
新时代牛马1 天前
PCI与PCIe 硬件原理、配置空间/BAR 与 Linux 驱动完整篇:从 LTSSM、TLP 到 ECAM 与probe
java·linux·服务器
两点王爷1 天前
解决 Linux 中 version `CXXABI_1.3.8‘ not found 报错
linux·运维·服务器
xx~t1 天前
嵌入式——51单片机1
linux·c语言·单片机·嵌入式硬件·51单片机
啦啦啦啦啦zzzz1 天前
利用RAII机制进行日志的采集
linux·服务器·c++·网络编程·c++20
0+1111 天前
Linux --线程概念与控制
linux·运维·服务器·jvm
nLif1 天前
基于GTK的简易MFC对话框兼容层 -- MfcToGTK
linux·c++·mfc·gtk
宽海智能仓储物流1 天前
航发自动化立体库异构系统改造:宽海智能30天联调技术全解析
运维·数据仓库·自动化