Windows环境下LLaMA-Factory微调模型时“未检测到CUDA环境”

根据官网安装CUDN

执行命令nvcc -V 和 nvidia-smi 后出现下面图中表示安装OK

我到这里都ok,但是还是报未检测到CUDA环境,

可以进入Python环境执行命令

python 复制代码
import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.cuda.is_available())

理想输出应为:

  • 2.3.0(PyTorch-cpu版本)
  • 12.1(编译时使用的CUDA版本)
  • True(GPU可用)

发现PyTorch是cpu版本 要使用GPU需要PyTorch-GPU版

若已经下载了cpu版,可以执行卸载后再安装GPU版

卸载指令

python 复制代码
#卸载 CPU 版 PyTorch(根据安装方式选择命令)
#‌若通过 pip 安装‌:执行卸载主包
pip uninstall torch
#再执行 卸载相关依赖
pip uninstall torchvision torchtext torchaudio
‌#若通过 conda 安装‌:执行 
conda uninstall torch
#卸载主包后,再执行 卸载相关依赖。
conda uninstall torchvision torchtext torchaudio

执行命令下载,若下载慢设置为国内镜像地址

python 复制代码
#pip方式下载安装
pip install torch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

#conda下载安装
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

安装完成后,成功开启GPU!

相关推荐
geovindu2 小时前
CSharp:简单本地调用deepseek-r1:1.5b 模型 using .net9.0
llama
木卫二号Coding2 天前
第七十九篇-E5-2680V4+V100-32G+llama-cpp编译运行+Qwen3-Next-80B
linux·llama
lili-felicity2 天前
CANN优化LLaMA大语言模型推理:KV-Cache与FlashAttention深度实践
人工智能·语言模型·llama
大傻^4 天前
大模型基于llama.cpp量化详解
llama·大模型量化
大傻^4 天前
大模型微调-基于llama-factory详解
llama·模型微调
空中楼阁,梦幻泡影4 天前
主流4 大模型(GPT、LLaMA、DeepSeek、QWE)的训练与推理算力估算实例详细数据
人工智能·gpt·llama
蓝田生玉1234 天前
LLaMA论文阅读笔记
论文阅读·笔记·llama
木卫二号Coding4 天前
第七十七篇-V100+llama-cpp-python-server+Qwen3-30B+GGUF
开发语言·python·llama
木卫二号Coding4 天前
第七十六篇-V100+llama-cpp-python+Qwen3-30B+GGUF
开发语言·python·llama
姚华军5 天前
在本地(Windows环境)部署LLaMa-Factory,进行模型微调步骤!!!
windows·ai·llama·llama-factory