Windows 环境搭建 CUDA 和 cuDNN 详细教程

CUDA

  1. CUDA(Compute Unified Device Architecture)是由NVIDIA公司推出的一个并行计算平台和编程模型,它允许开发者使用NVIDIA GPU进行通用计算(即GPGPU),从而加速各种计算密集型任务。CUDA提供了一套基于C/C++的编程语言扩展,使得开发者能够编写在GPU上运行的代码,利用GPU的并行处理能力来提升程序性能。

  2. CUDA的架构包括多个核心概念,如线程、线程块、网格以及内存模型。线程是CUDA中最小的执行单位,线程块是一组线程的集合,它们可以共享数据和同步操作。网格则是由多个线程块组成,用于执行大规模的并行计算任务。CUDA的内存模型包括全局内存、共享内存、常量内存和纹理内存,它们各自有不同的访问速度和用途。

  3. NVIDIA发布的CUDA Toolkit 12.0,这是多年来的第一个主要版本,它支持NVIDIA Hopper和Ada

    Lovelace架构的新功能,并提供了新的编程模型和性能优化。此外,CUDA Toolkit 12.2也已发布,引入了对NVIDIA Hopper(H100)GPU的支持,以及异构内存管理(HMM)等新特性。

  4. CUDA技术在科学计算、大数据分析、机器学习和图形处理等领域有广泛应用。例如,在深度学习领域,CUDA与TensorFlow、PyTorch等深度学习框架深度整合,提供了高效的计算加速。

CUDA安装步骤

  1. 查看本机设备NVIDIA显卡对应的驱动版本和CUDA版本,PowerShell中输入命令 nvidia-smi;可以看到驱动Driver和CUDA的版本;或者利用NVIDIA控制面板 按照系统信息->组件->NVCUDA64.DLL查看详细CUDA版本;

  2. 确定本机设备显卡的算力:https://developer.nvidia.com/cuda-gpus;可以看到本机设备显卡3060的计算算力为8.6;

  3. 安装CUDA Toolkit:https://developer.nvidia.com/cuda-toolkit-archive;选择本机设备显卡需要的CUDA Toolkit版本下载;

  4. 按照下图的1-2-3-4-5的顺序点击,进行下载;

  5. 点击下载好的的 exe 进行安装;

  6. 默认路径即可,此时是临时数据;

  7. 进入安装界面,选择继续;

  8. 选择自定义安装,全选;


  1. 确定安装路径,进行安装;



  1. 安装结束;
  2. 验证是否安装成功,PowerShell输入命令:nvcc -V,返回如下即表示安装成功。

cuDNN

cuDNN(CUDA Deep Neural Network library)是NVIDIA推出的一个深度学习加速库,它为深度神经网络提供了高度优化的GPU加速原语。cuDNN特别针对深度学习中常见的操作进行了优化,如前向和后向卷积、池化层、归一化和激活层等,从而大幅提升了深度学习模型训练和推理的性能。

cuDNN的主要特点包括:

  1. Tensor Core加速:支持多种卷积操作的Tensor Core加速,包括2D卷积、3D卷积、分组卷积、深度可分离卷积等。
  2. 运行时融合:通过新的运算符、启发式算法和融合迅速编译内核,提高了内存和计算效率。
  3. 多精度支持:支持FP32、FP16、BF16和TF32浮点格式以及INT8和UINT8整数格式,允许开发者根据需要选择不同的精度和性能平衡。
  4. 灵活的API:提供了C API和开源的C++前端API,方便用户使用。
  5. 广泛的框架支持:与多个流行的深度学习框架集成,如TensorFlow、PyTorch、Caffe等。

cuDNN安装步骤

  1. 下载官网:https://developer.nvidia.com/cudnn-downloads
  2. 按照 1-2-3-4-5 的步骤点击选择,进行下载;
  3. 解压下载下来的压缩包,里面有includelibbin 三个文件夹和LICENSE文件;
  1. 将下载文件解压后放换到NVIDIA GPU TookitC:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3)里对应的目录binincludelib 中。
    (1)将下载下来的cudnn中bin文件拷贝到NVIDIA GPU Tookit的bin中。

(2)将下载下来的cudnn中include文件拷贝到NVIDIA GPU Tookit的include中。

(3)将下载下来的cudnn中lib\x64中文件拷贝到NVIDIA GPU Tookit目录x64\lib中。


  1. 验证 安装是否成功:"C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3\extras\demo_suite>",然后分别运行里的 bandwidthTest.exedeviceQuery.exe,有PASS 即代表成功。

相关推荐
AImatters14 分钟前
2025 年PT展前瞻:人工智能+如何走进普通人的生活?
人工智能·ai·具身智能·智慧医疗·智慧出行·中国国际信息通信展览会·pt展
AI小书房23 分钟前
【人工智能通识专栏】第十五讲:视频生成
人工智能
zzywxc78739 分钟前
AI工具全景洞察:从智能编码到模型训练的全链路剖析
人工智能·spring·ios·prompt·ai编程
甄心爱学习1 小时前
DataSet-深度学习中的常见类
人工智能·深度学习
伟贤AI之路1 小时前
【分享】中小学教材课本 PDF 资源获取指南
人工智能·pdf
三体世界1 小时前
测试用例全解析:从入门到精通(1)
linux·c语言·c++·python·功能测试·测试用例·测试覆盖率
Python私教1 小时前
Django全栈班v1.04 Python基础语法 20250912 下午
后端·python·django
aneasystone本尊1 小时前
详解 Chat2Graph 的推理机实现
人工智能
xchenhao1 小时前
Scikit-Learn 对糖尿病数据集(回归任务)进行全面分析
python·机器学习·回归·数据集·scikit-learn·特征·svm
金融小师妹1 小时前
多因子AI回归揭示通胀-就业背离,黄金价格稳态区间的时序建模
大数据·人工智能·算法