配置ollama的显卡和模型保存路径(Ubuntu, systemd)

配置ollama的显卡和模型保存路径(Ubuntu,systemd)

操作系统:Ubuntu24.04.3

部署方式:官网部署脚本,基于systemd启动

目标:设定ollama推理所能使用的显卡与模型缓存的保存路径

因为直接修改ollama.service很可能在ollama更新的时候导致配置被覆盖,另一方面,ollama又是一个需要频繁更新的服务,所以选择额外配置信息覆盖的方式来配置ollama的环境变量。

新建覆盖配置的所在路径

bash 复制代码
sudo mkdir -p /etc/systemd/system/ollama.service.d

新建并打开配置文件

bash 复制代码
sudo vim /etc/systemd/system/ollama.service.d/override.conf

写入内容

bash 复制代码
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_MODELS=/mnt/cache/model/ollama"

限制只能使用显卡0以及ollama模型数据文件的保存路径

加载配置与重启服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama.service

预览修改是否成功

bash 复制代码
sudo systemctl cat ollama
相关推荐
笨笨饿11 小时前
#143_屏幕画撕裂的问题及解决方法
linux·stm32·单片机·嵌入式硬件·mcu·lvgl·嵌入式实时数据库
小年糕是糕手11 小时前
【AI】用 Python 做一个 AI 截图检索助手:把收藏夹里的截图找回来
linux·人工智能·python·chatgpt·agent·codex·deepseek
hhhjhl11 小时前
Zod 跨端三方库仓颉适配全流程
linux·运维·ubuntu
叼烟扛炮11 小时前
Linux 学习笔记(三十二):线程控制——创建、等待与分离
linux·运维·服务器·笔记·学习·1024程序员节
夜雪一千11 小时前
Linux 权限、用户、用户组内容介绍
linux·运维·服务器
拂拉氏12 小时前
【知识讲解】 Linux信号的认识与使用
linux·信号
无毁的湖光-Al12 小时前
高可用之路-观测篇-那些年遇到过的指标幻觉
linux·数据库·tcp
叼烟扛炮12 小时前
Linux 学习笔记(二十九):进程信号(上)—— 信号捕捉与异步魔法
linux·运维·笔记·学习·1024程序员节
lingran__12 小时前
Linux进程万字详解(四) | 进程地址空间深度剖析:虚拟内存、页表映射与缺页中断
linux·虚拟地址空间·虚拟内存·1024程序员节·页表·物理内存·缺页中断
wuminyu12 小时前
JVM规范学习总结-Class文件结构
java·linux·c语言·jvm·c++