配置ollama的显卡和模型保存路径(Ubuntu,systemd)
操作系统:Ubuntu24.04.3
部署方式:官网部署脚本,基于systemd启动
目标:设定ollama推理所能使用的显卡与模型缓存的保存路径
因为直接修改ollama.service很可能在ollama更新的时候导致配置被覆盖,另一方面,ollama又是一个需要频繁更新的服务,所以选择额外配置信息覆盖的方式来配置ollama的环境变量。
新建覆盖配置的所在路径
bash
sudo mkdir -p /etc/systemd/system/ollama.service.d
新建并打开配置文件
bash
sudo vim /etc/systemd/system/ollama.service.d/override.conf
写入内容
bash
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_MODELS=/mnt/cache/model/ollama"
限制只能使用显卡0以及ollama模型数据文件的保存路径
加载配置与重启服务
bash
systemctl daemon-reload
systemctl restart ollama.service
预览修改是否成功
bash
sudo systemctl cat ollama