Ollama 运行至GPU-问题小记

【背景】在部署Ollama后,始终发现Ollama运行的方式是CPU,这样就会造成我后续下载的模型的运行方式都是CPU,而当前模型运行的方式希望是GPU。

【排查点】

在 Linux 下使用 Ollama 进行 GPU 加速通常需要确保以下几点:

  1. 安装 NVIDIA 驱动 :确保你的系统已经安装了与 GPU 兼容的 NVIDIA 驱动。 具体安装过程

  2. 安装 CUDA 和 cuDNN:Ollama 需要 CUDA(并且可能需要 cuDNN)来支持 GPU 加速。确保安装适合你的 NVIDIA 驱动版本的 CUDA 和 cuDNN。

  3. 设置环境变量

    • 确保将 CUDA 的 bin 和 lib 目录添加到你的 PATH 和 LD_LIBRARY_PATH 环境变量中。
  4. 安装和配置 Ollama:根据 Ollama 的安装指南进行安装,并确保能够识别和使用 GPU。

  5. 验证安装:可以通过运行一些 Ollama 提供的示例或测试来验证 GPU 是否被成功识别和使用。

【遇到问题 -1】

在进行CUDA 和 cuDNN的安装排查时:

输入命令 nvcc -V

bash 复制代码
nvcc -V

# 报错返回
# sh: nvcc: command not found

【解决办法】

查看cudabin 目录下是否有nvcc

bash 复制代码
cd /usr/local/cuda/bin
ls -a

如果存在,直接将cuda路径加入系统路径即可:

bash 复制代码
vim ~/.bashrc

增加内容

bash 复制代码
export LD_LIBRARY_PATH=/usr/local/cuda/lib:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda/bin:$PATH

更新文件

bash 复制代码
source ~/.bashrc

再次执行nvcc -V 就可以看到相应cuda版本了

vbnet 复制代码
(weather) sh-4.4$ nvcc -V 
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Mar_28_02:18:24_PDT_2024
Cuda compilation tools, release 12.4, V12.4.131
Build cuda_12.4.r12.4/compiler.34097967_0

【结果】

处理完上述问题后,有重新启动了Ollama,则发现已经在使用GPU运行了;

Ollama服务 启动、查询状态、停止命令

bash 复制代码
#启动
sudo systemctl start ollama.service

#重启
sudo systemctl restart ollama.service

# 状态
sudo systemctl status ollama.service

#停止
sudo systemctl stop ollama.service

【补充】

在运行Ollama服务 过程中遇到关于daemon-reload的问题则可以运行如下命令

复制代码
sudo systemctl daemon-reload
相关推荐
苏三说技术8 分钟前
Excel百万数据如何快速导入?
后端
昵称为空C10 分钟前
SpringBoot编码技巧-ScheduledExecutorService轮询
java·spring boot·后端
huangyingying202541 分钟前
03-分支结构
后端
00后程序员43 分钟前
【Flutter -- 基础组件】Flutter 导航栏
后端
bobz9651 小时前
ovs internal port 对比 veth-pair 性能
后端
Auroral1561 小时前
基于RabbitMQ的异步通知系统设计与实现
前端·后端
易元1 小时前
设计模式-代理模式
java·后端
嘻嘻哈哈开森1 小时前
Java开发工程师转AI工程师
人工智能·后端
LTPP1 小时前
自动化 Rust 开发的革命性工具:lombok-macros
前端·后端·github
一个热爱生活的普通人1 小时前
Go语言中 Mutex 的实现原理
后端·go