配置ollama的显卡和模型保存路径(Ubuntu, systemd)

配置ollama的显卡和模型保存路径(Ubuntu,systemd)

操作系统:Ubuntu24.04.3

部署方式:官网部署脚本,基于systemd启动

目标:设定ollama推理所能使用的显卡与模型缓存的保存路径

因为直接修改ollama.service很可能在ollama更新的时候导致配置被覆盖,另一方面,ollama又是一个需要频繁更新的服务,所以选择额外配置信息覆盖的方式来配置ollama的环境变量。

新建覆盖配置的所在路径

bash 复制代码
sudo mkdir -p /etc/systemd/system/ollama.service.d

新建并打开配置文件

bash 复制代码
sudo vim /etc/systemd/system/ollama.service.d/override.conf

写入内容

bash 复制代码
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_MODELS=/mnt/cache/model/ollama"

限制只能使用显卡0以及ollama模型数据文件的保存路径

加载配置与重启服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama.service

预览修改是否成功

bash 复制代码
sudo systemctl cat ollama
相关推荐
maosheng11467 小时前
RHCSA的第一次作业
linux·运维·服务器
wifi chicken7 小时前
Linux 端口扫描及拓展
linux·端口扫描·网络攻击
旺仔.2917 小时前
Linux 信号详解
linux·运维·网络
放飞梦想C8 小时前
CPU Cache
linux·cache
Hoshino.418 小时前
基于Linux中的数据库操作——下载与安装(1)
linux·运维·数据库
播播资源10 小时前
CentOS系统 + 宝塔面板 部署 OpenClaw源码开发版完整教程
linux·运维·centos
源远流长jerry10 小时前
在 Ubuntu 22.04 上配置 Soft-RoCE 并运行 RDMA 测试程序
linux·服务器·网络·tcp/ip·ubuntu·架构·ip
lay_liu11 小时前
Linux安装redis
linux·运维·redis
寂柒12 小时前
序列化与反序列化
linux·网络
lay_liu12 小时前
ubuntu 安装 Redis
linux·redis·ubuntu