DeepSeek在linux下的安装部署与应用测试

结合上一篇文章,本篇文章主要讲述在Redhat linux环境下如何部署和使用DeepSeek大模型,主要包括ollama的安装配置、大模型的加载和应用测试。关于Open WebUI在docker的安装部署,Open WebUI官网也提供了完整的docker部署说明,大家可参考github,但对于Open WebUI前后端分离的部署没有详细说明,这需要修改一部分前后端代码,后面会陆续分享给大家。

ollama安装部署
一、ollama下载解压

下载ollama-linux-amd64.tgz,地址详见ollama官网,注意要下载低一些的版本,比如ollama-0.3.6版本。

解压:tar -zxvf ollama-linux-amd64.tgz

拷贝文件:cp ollama /usr/local/bin

二、ollama服务启动配置

创建Ollama用户:sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

如果有该用户,就不需要创建,或者直接改为超级用户进行启动。

打开配置文件:vi /etc/systemd/system/ollama.service,修改内容如下:

复制代码
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin"
Environment="OLLAMA_HOST=0.0.0.0:11434" #允许外部访问
Environment="OLLAMA_MODELS=/data/olla-models" # 指定模型文件存储路径
Environment="HTTP_PROXY=http://user:pwd@ip:port" #配置访问外网的代理,如果需要才配置该选项
Environment="CUDA_VISIBLE_DEVICES=0,1" # 配置GPU,序号从01开始

[Install]
WantedBy=default.target

执行如下命令进行服务启用和状态查看等

systemctl daemon-reload

systemctl enable ollama

systemctl start ollama

systemctl status ollama

三、ollama命令行启动配置

如果不使用第二步的ollama服务启动方式,也可以通过命令行启动,但部分配置需要通过用环境变量传入,如下。

复制代码
export OLLAMA_MODELS=/data/Ollama/models
export OLLAMA_GPU_LAYER=cuda
export CUDA_VISIBLE_DEVICES=0  # 强制使用NVIDIA GPU 第一块

命令行启动ollama服务,如下

ollama serve

四、卸载或停止ollama服务
复制代码
systemctl stop ollama
systemctl disable ollama

删除服务文件和Ollama二进制文件进行服务停止

复制代码
sudo rm /etc/systemd/system/ollama.service 
sudo rm $(which ollama)

清理Ollama用户和组(如果前面没有创建,可不做):

复制代码
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama
DeepSeek大模型加载运行与应用测试
一、下载模型

下载并运行模型:ollama run deepseek-r1:7b

加载模型:ollama pull deepseek-r1:7b

配置代理:如果内网需要通过代理访问,请在第二步配置文件中增加代理设置。

二、删除模型

删除指定模型:ollama rm deepseek-r1:7b

三、查看已安装模型列表

查看列表:ollama list

四、利用GPU加载模型

运行命令:ollama run --gpu deepseek-r1:7b ,经测试,需要降低ollama版本,调整为ollama0.3.6即可使用gpu卡。

使用环境变量设置:

export OLLAMA_MODELS=/data/olla-models

目前生效的参数是在第二步设置的Environment变量。详见前一节的第二步。

经过前面的成功部署和运行,结合客户端应用(如Open WebUI、CherryStudio等)配置该运行服务到OLLAMA_BASE_URL,即可进行应用测试,具体如下。

相关推荐
光电笑映1 小时前
TCP 为什么可靠?从三次握手、滑动窗口到拥塞控制全面拆解(下)
linux·网络·网络协议·tcp
zhuangzhao1192 小时前
第一性原理大模型课程 · 第 21 课:从 Prompt 到 Agent:四件套、错误累积与 ReAct 手算
大模型·react·ai agent·错误累积·大模型课程
yz_aiks2 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
YIAN3 小时前
从 LangChain 到 DeepAgents:手把手拆解 createAgent、Middleware 与复杂 Agent
javascript·langchain·deepseek
大模型真好玩4 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
hi_ro_a6 小时前
Ext系列⽂件系统详解
linux·服务器·操作系统
你住过的屋檐8 小时前
【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程
linux·运维·服务器
少司府9 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
不积跬步无以至千里mmbb2610 小时前
Rust三大核心:Trait Crate Mod详解
linux·rust
一缕82年的清风15 小时前
百万 Token 砍到 0.5 美元!微软新模型半价、DeepSeek 连夜撤回搜索费,11 月底开发者怎么搭最省钱?
gpt·claude·deepseek