Windows环境下LLaMA-Factory微调模型时“未检测到CUDA环境”

根据官网安装CUDN

执行命令nvcc -V 和 nvidia-smi 后出现下面图中表示安装OK

我到这里都ok,但是还是报未检测到CUDA环境,

可以进入Python环境执行命令

python 复制代码
import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.cuda.is_available())

理想输出应为:

  • 2.3.0(PyTorch-cpu版本)
  • 12.1(编译时使用的CUDA版本)
  • True(GPU可用)

发现PyTorch是cpu版本 要使用GPU需要PyTorch-GPU版

若已经下载了cpu版,可以执行卸载后再安装GPU版

卸载指令

python 复制代码
#卸载 CPU 版 PyTorch(根据安装方式选择命令)
#‌若通过 pip 安装‌:执行卸载主包
pip uninstall torch
#再执行 卸载相关依赖
pip uninstall torchvision torchtext torchaudio
‌#若通过 conda 安装‌:执行 
conda uninstall torch
#卸载主包后,再执行 卸载相关依赖。
conda uninstall torchvision torchtext torchaudio

执行命令下载,若下载慢设置为国内镜像地址

python 复制代码
#pip方式下载安装
pip install torch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

#conda下载安装
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

安装完成后,成功开启GPU!

相关推荐
zhangfeng113310 小时前
LLaMA Factory 完全支自定义词库(包括自定义微调数据集、自定义领域词汇/词表)
人工智能·llama
小毅&Nora12 小时前
【人工智能】【大模型】从厨房到实验室:解密LLaMA架构如何重塑大模型世界
人工智能·架构·llama
kimi-2221 天前
LLaMA Factory: 一站式大模型高效微调平台
llama
码界奇点3 天前
基于Wails框架的Ollama模型桌面管理系统设计与实现
go·毕业设计·llama·源代码管理
独隅4 天前
Ollama for macOS 完全指南:零配置本地运行 Llama、DeepSeek 等大模型,私享安全高效的 AI 能力
安全·macos·llama
skywalk81634 天前
使用llama.cpp和ollama推理LFM2.5-1.2B模型
llama·ollama·lfm2.5-1.2b
GatiArt雷4 天前
基于LLaMA 3微调的行业知识库问答系统搭建与实践
llama
wangqiaowq4 天前
llama.cpp + llama-server 的安装部署验证
运维·服务器·llama
upp5 天前
pyqt5 5.15.9和llama-cpp-python 0.3.16 初始化大模型报错解决
python·qt·llama
chem41117 天前
玩客云 边缘AI模型 本地搭建部署 llama.cpp qwen
linux·人工智能·llama