配置ollama的显卡和模型保存路径(Ubuntu, systemd)

配置ollama的显卡和模型保存路径(Ubuntu,systemd)

操作系统:Ubuntu24.04.3

部署方式:官网部署脚本,基于systemd启动

目标:设定ollama推理所能使用的显卡与模型缓存的保存路径

因为直接修改ollama.service很可能在ollama更新的时候导致配置被覆盖,另一方面,ollama又是一个需要频繁更新的服务,所以选择额外配置信息覆盖的方式来配置ollama的环境变量。

新建覆盖配置的所在路径

bash 复制代码
sudo mkdir -p /etc/systemd/system/ollama.service.d

新建并打开配置文件

bash 复制代码
sudo vim /etc/systemd/system/ollama.service.d/override.conf

写入内容

bash 复制代码
[Service]
Environment="CUDA_VISIBLE_DEVICES=0"
Environment="OLLAMA_MODELS=/mnt/cache/model/ollama"

限制只能使用显卡0以及ollama模型数据文件的保存路径

加载配置与重启服务

bash 复制代码
systemctl daemon-reload
systemctl restart ollama.service

预览修改是否成功

bash 复制代码
sudo systemctl cat ollama
相关推荐
测试界的小码农4 小时前
【Linux 命令实战(06):Linux 文件权限管理,掌握 chmod、chown、chgrp】
linux·运维·服务器
一条破秋裤5 小时前
【1114】【并发控制】【笔记】
linux
2035去旅行7 小时前
ADB的底层原理
linux·adb·嵌入式·arm·soc
武子康7 小时前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习
女神下凡7 小时前
芯参谋(107):杰理AC_中科蓝讯_开发指南
linux·服务器·网络·单片机·嵌入式硬件
落羽的落羽7 小时前
【C++】C++17的主要特性
linux·服务器·开发语言·c++·算法·机器学习
goehou12 小时前
两台 Mac 拼成推理池,加机器不加内存
mac·集群·ollama·本地推理
爱和冰阔落12 小时前
【Linux网络】TCP 半包粘包怎么解决?从长度报头、JSON 拆包到网络计算器完整实战
linux·运维·网络·tcp/ip
say_fall13 小时前
【Linux网络编程】UDP套接字编程:系统编程组件、基础回显服务、InetAddr与地址转换、翻译服务与线程池聊天室
linux·服务器·网络·udp·vr
ö Constancy14 小时前
一台电脑的硬件组成与作用:按功能分类详解(Windows 与 Linux 视角)
linux·windows·电脑