在ollama下部署DeepSeek-r1模型(linux机器)

1.ollama部署参照写文章-CSDN创作中心

2.ollama官网https://ollama.com/download/linux上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化

使用命令执行

ollama run deepseek-r1:7b

上面的命令由于网络太卡导致一直下载不下来,因此使用离线的安装方法进行安装

DeepSeek-R1-Distill-Qwen-7B-GGUF · 模型库

在存放 .gguf 文件的目录下,创建一个名为 Modelfile 的文件(无后缀),内容如下:

vim Modelfile

FROM ./DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

注意:将文件名替换为你实际下载的文件名。

导入模型

在终端执行以下命令,将本地文件注册到 Ollama:

ollama create deepseek-r1:7b -f Modelfile

运行模型

导入成功后,即可离线运行:

ollama run deepseek-r1:7b

3.配置deepseek可视化界面:

yum install -y dos2unix

yum install -y wget

下载InstallDocker.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

和InstallDockerCompose.sh · 开心果111号/RockyLinuxInstallFiles - 码云 - 开源中国

这两个文件

然后完成docker和docker compose的安装

#安装docker

chmod +x ./InstallDocker.sh

dos2unix InstallDocker.sh

./InstallDocker.sh 26.* 192.168.40.160

#安装docker compose

chmod +x ./InstallDockerCompose.sh

dos2unix InstallDockerCompose.sh

./InstallDockerCompose.sh

执行以下命令直接拉取镜像并启动容器:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

对接本地 Ollama 服务‌

浏览器访问 http://你的服务器IP:3000,首次打开会提示注册管理员账号。

进入后台设置 → 模型管理,在 Ollama API 地址栏填入 http://127.0.0.1:11434,保存后系统会自动扫描本地已导入的 deepseek-r1:7b 模型。

此时网页可能还是无法获取模型需要做如下修改:

sudo mkdir -p /etc/systemd/system/ollama.service.d

vim /etc/systemd/system/ollama.service.d/override.conf

输入:

Service

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_ORIGINS=*"

保存退出

然后再将上面的 Ollama API地址,换成http://你服务器的ip:11434,保存后就可以看见模型了

开始使用‌

在对话页面顶部的模型下拉菜单中选择 deepseek-r1:7b,即可直接在可视化界面中与 DeepSeek 模型交互。

相关推荐
ai小陈5 小时前
GPU服务器租用存储验收:检查点写入与磁盘吞吐实战
运维·服务器·人工智能·ai·ssh·gpu算力
Ivanqhz7 小时前
激活函数在 Transformer 中的作用及各种变体简述
java·linux·数据库·人工智能·深度学习
FPGA小徐7 小时前
PA1 基础设施(2)深度解析:NEMU 中 ITRACE、MTRACE、FTRACE、IRINGBUF、ETRACE、DIFFTEST 全解析
java·服务器·网络
有毒的教程8 小时前
VMware仅主机模式:物理机 ↔ 虚拟机 文件共享
运维
知行EDI8 小时前
知行之桥 MaBang 端口使用指南——Create Order 订单创建篇
java·服务器·数据库
成旭先生8 小时前
【2026】企业信息模糊查询 API 实战:名称、注册号、统一社会信用代码、企业类型与法人一次查全
服务器·数据库·数据服务
殷色玫瑰9 小时前
C/C++ 内存管理详解:从内存分布到 new/delete 底层原理
java·linux·c语言·c++
山岚的运维笔记10 小时前
ComfyUI NVIDIA安装教程:官方便携版下载+run_nvidia_gpu.bat启动,8G显存Windows实操
运维·服务器·windows·笔记·prompt·aigc·comfyui
海宇大数据11 小时前
零信任架构实战:基于海宇活体识别V步骤1构建自动化远程公证会话初始化网关
运维·人工智能·架构·自动化
꯭自꯭闭꯭11 小时前
DM7主备升级方案
linux·服务器·数据库