配置ollama的显卡和模型保存路径(Ubuntu, systemd)

配置ollama的显卡和模型保存路径(Ubuntu,systemd)

操作系统:Ubuntu24.04.3

部署方式:官网部署脚本,基于systemd启动

目标:设定ollama推理所能使用的显卡与模型缓存的保存路径

因为直接修改ollama.service很可能在ollama更新的时候导致配置被覆盖,另一方面,ollama又是一个需要频繁更新的服务,所以选择额外配置信息覆盖的方式来配置ollama的环境变量。

新建覆盖配置的所在路径

bash 复制代码
sudo mkdir -p /etc/systemd/system/ollama.service.d

新建并打开配置文件

bash 复制代码
sudo vim /etc/systemd/system/ollama.service.d/override.conf

写入内容

bash 复制代码
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_MODELS=/mnt/cache/model/ollama"

限制只能使用显卡0以及ollama模型数据文件的保存路径

加载配置与重启服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama.service

预览修改是否成功

bash 复制代码
sudo systemctl cat ollama
相关推荐
风华同学2 小时前
【系统移植篇】ubuntu-base系统构建
驱动开发·ubuntu·arm
了一梨2 小时前
网络编程:TCP Socket
linux·c语言·tcp/ip
深盾科技2 小时前
Linux跨进程内存操作的3种方法及防护方案
java·linux·网络
HalvmånEver2 小时前
Linux:基础IO(一)
linux·运维·服务器
Lynnxiaowen2 小时前
今天我们学习kubernetes内容持久化存储
linux·运维·学习·容器·kubernetes
Starry_hello world2 小时前
Linux 信号
linux
KingRumn2 小时前
Linux进程间通信之消息队列
linux·服务器·网络
jerryinwuhan2 小时前
1210_linux_2
linux·运维·服务器
IDC02_FEIYA2 小时前
Linux怎么看服务器状态?Linux查看服务器状态命令
linux·运维·服务器