Windows 11下RTX 4090深度学习及大模型微调环境安装指南

在安装深度学习及大模型微调环境时,经历了多次反复操作(如CUDA、cuDNN、PyTorch的安装与卸载)。为了避免走弯路,总结了以下步骤:

步骤 1:显卡驱动安装

首先在安装完Windows 11后,安装RTX 4090显卡的驱动。这是后续步骤的基础。请前往英伟达官网,下载并安装适用于您的显卡的最新驱动程序。

步骤 2:安装Ollama

在显卡驱动安装完成后,安装Ollama,安装后即可利用显卡性能进行大模型推理。

步骤 3:安装CUDA

在进行大模型微调时,需安装深度学习环境,包括CUDA。关键步骤如下:

  1. 检查显卡支持的CUDA版本:在命令行中输入以下命令查看支持的CUDA版本:
复制代码
nvidia-smi

最大的坑是选择了不被支持的CUDA版本(如CUDA 12.6),导致PyTorch及TensorFlow都无法兼容4090显卡。因此选择低于12.6版本的CUDA。后来通过perplexity在线查询反馈上图中表示的是低于12.6版本的cuda都可以。

  1. 确认PyTorch兼容版本:由于是实验环境,因此我只考虑pytorch的兼容性,而没有考虑tensorflow。在 [PyTorch官网](https://pytorch.org/get-started/locally/) 查询PyTorch支持的CUDA版本。最终选择CUDA 12.4与PyTorch 2.4.0,Python 3.10。

步骤 4:安装CUDA和cuDNN

前往英伟达官网,下载CUDA 12.4及相应的cuDNN版本。安装过程请参考这篇[博客](https://blog.csdn.net/qq_40379132/article/details/124869378),其中详细介绍了安装步骤及系统环境变量的配置方法。

步骤 5:安装PyTorch

  1. 安装Miniconda:首先安装Miniconda。

  2. 创建虚拟环境:创建用于大模型开发的虚拟环境并激活该环境。

  3. 安装PyTorch:在激活的环境中,使用PyTorch官网提供的安装命令进行安装。推荐使用Conda安装方式,避免依赖包缺失问题。

复制代码
conda install pytorch torchvision torchaudio cudatoolkit=12.4 -c pytorch

步骤 6:验证安装成功

在Jupyter Notebook中运行以下代码,验证是否安装成功:

如上图:

  • true:代表cuda可用

  • 0:代表当前设备编号,默认从0开始

  • 1:gpu数量,本机只有一个4090

  • NVIDIA GeForce RTX 4090:代表第一个gpu名称

到此,恭喜安装完成。

注意:windows环境中,如果刚安装完,提示找不到dll文件之类的错误,建议重启,再执行如上代码。

相关推荐
Bellafu6663 小时前
selenium常用的等待有哪些?
python·selenium·测试工具
小白学大数据4 小时前
Python爬虫常见陷阱:Ajax动态生成内容的URL去重与数据拼接
爬虫·python·ajax
2401_841495645 小时前
【计算机视觉】基于复杂环境下的车牌识别
人工智能·python·算法·计算机视觉·去噪·车牌识别·字符识别
Adorable老犀牛5 小时前
阿里云-ECS实例信息统计并发送统计报告到企业微信
python·阿里云·云计算·企业微信
倔强青铜三5 小时前
苦练Python第66天:文件操作终极武器!shutil模块完全指南
人工智能·python·面试
倔强青铜三5 小时前
苦练Python第65天:CPU密集型任务救星!多进程multiprocessing模块实战解析,攻破GIL限制!
人工智能·python·面试
zhuyasen5 小时前
踩坑实录:Go 1.25.x 编译的 exe 在 Windows 提示“此应用无法运行”
windows·golang
Panda__Panda5 小时前
docker项目打包演示项目(数字排序服务)
运维·javascript·python·docker·容器·c#
强哥之神6 小时前
浅谈目前主流的LLM软件技术栈:Kubernetes + Ray + PyTorch + vLLM 的协同架构
人工智能·语言模型·自然语言处理·transformer·openai·ray
Lris-KK6 小时前
力扣Hot100--94.二叉树的中序遍历、144.二叉树的前序遍历、145.二叉树的后序遍历
python·算法·leetcode