Windows环境下LLaMA-Factory微调模型时“未检测到CUDA环境”

根据官网安装CUDN

执行命令nvcc -V 和 nvidia-smi 后出现下面图中表示安装OK

我到这里都ok,但是还是报未检测到CUDA环境,

可以进入Python环境执行命令

python 复制代码
import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.cuda.is_available())

理想输出应为:

  • 2.3.0(PyTorch-cpu版本)
  • 12.1(编译时使用的CUDA版本)
  • True(GPU可用)

发现PyTorch是cpu版本 要使用GPU需要PyTorch-GPU版

若已经下载了cpu版,可以执行卸载后再安装GPU版

卸载指令

python 复制代码
#卸载 CPU 版 PyTorch(根据安装方式选择命令)
#‌若通过 pip 安装‌:执行卸载主包
pip uninstall torch
#再执行 卸载相关依赖
pip uninstall torchvision torchtext torchaudio
‌#若通过 conda 安装‌:执行 
conda uninstall torch
#卸载主包后,再执行 卸载相关依赖。
conda uninstall torchvision torchtext torchaudio

执行命令下载,若下载慢设置为国内镜像地址

python 复制代码
#pip方式下载安装
pip install torch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

#conda下载安装
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

安装完成后,成功开启GPU!

相关推荐
μθημα15 小时前
Ollama 本地大模型部署实战:虚拟机环境下的完整操作指南
llama·maxkb
论文复现现场16 小时前
RTX 4090 24GB 能跑 Qwen3.8-27B 吗?单卡显存计算与云端部署指南
人工智能·python·云计算·llama·gpu算力
zhangphil1 天前
AI大模型生成maxTokens 与上下文context
android·llama
淼澄研学4 天前
英伟达参投Hugging Face,本地部署Llama 3实操指南
llama
qyyyyy5709 天前
PDF 转 JSON 怎么做?从表格和元数据提取到 LLM 结构化处理
数据库·pdf·json·erlang·llama
薛定e的猫咪9 天前
【大模型量化】使用 llama.cpp 完成量化、本地推理与服务化部署
人工智能·深度学习·算法·llama
CODER03049 天前
win11系统编译安装cuda版llama-cpp-python(踩完所有的坑)
开发语言·python·llama
今天吃饺子10 天前
超高创新模型!TF-SAX-Llama 轴承故障诊断
大语言模型·llama·故障诊断
明月千里赴迢遥11 天前
Node搭建代理清洗API请求
llama
Rei224811 天前
使用llama.cpp的Qwen3.6-27B-Q8本地部署详解【Linux GPU】
linux·运维·llama