配置ollama的显卡和模型保存路径(Ubuntu, systemd)

配置ollama的显卡和模型保存路径(Ubuntu,systemd)

操作系统:Ubuntu24.04.3

部署方式:官网部署脚本,基于systemd启动

目标:设定ollama推理所能使用的显卡与模型缓存的保存路径

因为直接修改ollama.service很可能在ollama更新的时候导致配置被覆盖,另一方面,ollama又是一个需要频繁更新的服务,所以选择额外配置信息覆盖的方式来配置ollama的环境变量。

新建覆盖配置的所在路径

bash 复制代码
sudo mkdir -p /etc/systemd/system/ollama.service.d

新建并打开配置文件

bash 复制代码
sudo vim /etc/systemd/system/ollama.service.d/override.conf

写入内容

bash 复制代码
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_MODELS=/mnt/cache/model/ollama"

限制只能使用显卡0以及ollama模型数据文件的保存路径

加载配置与重启服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama.service

预览修改是否成功

bash 复制代码
sudo systemctl cat ollama
相关推荐
T1mzhou1 小时前
ARM64 Linux 6.10内核启动流程7-ioremap和readl writel
linux·服务器·c语言
bwz999@88.com2 小时前
Ubuntu Server 24.04 设置中文
linux·运维·ubuntu
fly-972 小时前
Ubuntu FTP/SFTP 报错:找不到匹配的 hostkey 算法 完整解决
linux·ubuntu
Cx330❀2 小时前
【Linux网络】网络层协议 IP :从网络层原理到 Linux 内核源码
linux·运维·服务器·网络·tcp/ip·ai·ai编程
Gl�ria3 小时前
Linux 清理日志常用命令
linux·运维·服务器
天道jimmy4 小时前
VulnHub 系列:HA, Wordy
linux·服务器·web安全
君生我老4 小时前
Linux中调式器gbd/cgdb
linux
两斤牛肉一壶酒5 小时前
opencode 技能加载全挂背后,竟是不用系统的ripgrep
linux
j7~5 小时前
【Linux网络加餐(二)】《进程组,会话,控制终端,作业控制和守护进程》---详解
linux·运维·服务器·守护进程·会话·进程组·控制终端
天道jimmy5 小时前
VulnHub 系列:Prime,1
linux·运维·服务器