Windows环境下LLaMA-Factory微调模型时“未检测到CUDA环境”

根据官网安装CUDN

执行命令nvcc -V 和 nvidia-smi 后出现下面图中表示安装OK

我到这里都ok,但是还是报未检测到CUDA环境,

可以进入Python环境执行命令

python 复制代码
import torch
print(torch.__version__)
print(torch.version.cuda)
print(torch.cuda.is_available())

理想输出应为:

  • 2.3.0(PyTorch-cpu版本)
  • 12.1(编译时使用的CUDA版本)
  • True(GPU可用)

发现PyTorch是cpu版本 要使用GPU需要PyTorch-GPU版

若已经下载了cpu版,可以执行卸载后再安装GPU版

卸载指令

python 复制代码
#卸载 CPU 版 PyTorch(根据安装方式选择命令)
#‌若通过 pip 安装‌:执行卸载主包
pip uninstall torch
#再执行 卸载相关依赖
pip uninstall torchvision torchtext torchaudio
‌#若通过 conda 安装‌:执行 
conda uninstall torch
#卸载主包后,再执行 卸载相关依赖。
conda uninstall torchvision torchtext torchaudio

执行命令下载,若下载慢设置为国内镜像地址

python 复制代码
#pip方式下载安装
pip install torch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

#conda下载安装
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

安装完成后,成功开启GPU!

相关推荐
寒水馨2 天前
Windows下载、安装ollama-v0.32.1(附安装包OllamaSetup.exe)
windows·llm·大语言模型·llama·本地部署·ollama·模型运行
老刘说AI3 天前
AI服务核心: 高并发原理与性能监控调优
人工智能·神经网络·langchain·llama·持续部署
头茬韭菜4 天前
Kronos 模型推理性能基准测试报告
llama
亮亮在江湖4 天前
# 手写原生Transformers SFT脚本 vs LLaMA Factory 训练 核心完整对比
llama
染指11104 天前
61.RAG-RAG存在的问题
人工智能·llama·rag·llama_index·llamaindex
CClaris9 天前
大模型量化从0到1(九):用 llama.cpp 把模型转成 GGUF 并跑本地推理
人工智能·pytorch·python·深度学习·llama
染指11109 天前
56.llama_index-查询引擎
人工智能·llama·rag·llama_index·llamaindex
_codemonster9 天前
从零手搓大模型(七)GPT 转 Llama:从教学版 GPT 走向现代 LLM 架构
人工智能·gpt·大模型·llama
SLD_Allen10 天前
Purple Llama:Meta开源的LLM安全“紫队”工具箱
安全·开源·llama
俊俊谢10 天前
从零搭建:本地LangChain Agent调用远程LLaMA-Factory模型服务
langchain·llama