cuda

不高明的骗子

【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境直接上链接了兄弟们，这个可能需要科学上网，这里我就不多说了哈。下载各个历史版本的cuda戳这里打开这个地址之后我们可以看到这样的界面：由于我的电脑最高是支持到12.7的所以我下载的是比较稳定的12.6.2（2024年10月版），直接点击链接，这样我们就可以进入下载环节了，我的操作系统是win11，所以我下载的是如图所示的版本，其中特别需要注意的是，下载exe(local)版本，然后download就可以得到这样一个.exe文件运行这个.exe文件安装cuda就行了，具体的，详细的方法可以参照这个uu

布鲁格若门

CentOS 7 桌面版安装 cuda 12.4

ubuntu.24安装cuda1.下载CUDA Toolkit https://developer.nvidia.com/cuda-toolkit-archive 2.按照命令下载，安装

扫地的小何尚

NVIDIA RTX 系统上使用 llama.cpp 加速 LLM适用于 Windows PC 的 NVIDIA RTX AI 平台提供了一个蓬勃发展的生态系统，其中包含数千种开源模型，供应用程序开发人员利用并集成到 Windows 应用程序中。值得注意的是，llama.cpp 是一款流行的工具，在撰写本文时拥有超过 65,000 个 GitHub 星标。这个开源存储库最初于 2023 年发布，是一个轻量级、高效的大型语言模型 (LLM) 推理框架，可在包括 RTX PC 在内的一系列硬件平台上运行。

吃肉夹馍不要夹馍

CublasLt 极简入门官方文档： cublasLt文档网上搜了挺多，Cublas的文档有不少，但是对于cuda10以上轻量化的cublasLt 的文档或博客却很少。

Ubuntu系统安装NVIDIA驱动、CUDA、PyTorch等GPU深度学习环境1.1 官网下载Linux安装文件。下载链接: 点击跳转1.2 安装Anaconda。进入文件下载位置，文件夹空白处右键打开终端，终端输入以下命令安装，后面一直Yes即可。

(8) cuda分析工具NVIDIA Nsight Systems是一个系统级的性能分析工具，用于分析和优化整个CUDA应用程序或系统的性能。它可以提供对应用程序整体性能的全面见解，以及考察GPU活动、内存使用、线程间通信等方面的详细信息，它提供了可视化界面和统计数据，开发人员可以使用它来发现性能瓶颈、调整应用程序的配置，以及提高整体性能

【CUDA代码实践03】m维网格n维线程块对二维矩阵的索引为了方便下次找到文章，也方便联系我给大家提供帮助，欢迎大家点赞👍、收藏📂和关注🔔！一起讨论技术问题💻，一起学习成长📚！如果你有任何问题或想法，随时留言，我会尽快回复哦😊！

Ubuntu20.04 更新Nvidia驱动 + 安装CUDA12.1 + cudnn8.9.7最近客户给了几台GPU服务器，长期放置落灰那种，然后想利用起来，所以上去看看了配置，系统是Ubuntu20.04，相关的驱动版本稍嫌老一些，所以需要更新Nvidia驱动，同时在安装CUDA和CUDNN，查看了显卡型号之后，打算使用onnxruntime进行推理，对比了版本，最后选择了CUDA12.1 + CUDNN8.9.7。

（5）cuda中的grid、block在CUDA中，host和device是两个重要的概念，我们用host指代CPU及其内存，而用device指代GPU及其内存。一般的CUDA程序的执行流程如下：

架构发展史GPU架构发展史英伟达的GPU架构发展Kelvin 于 2001 年发布，是 Nvidia 千年以来第一个新的 GPU 微架构。最初的 Xbox 游戏机使用带有 Kelvin 微架构的 NV2A GPU。 GeForce 3 和 GeForce 4 系列 GPU 是采用这种微架构发布的。

张大饼的最爱

CUDA 共享内存 shared memory此功能（与线程同步结合）有许多用途，例如用户管理的数据缓存、高性能协作并行算法（例如并行缩减），以及在原本不可能的情况下促进全局内存合并。

张大饼的最爱

CUDA 事件计时CUDA 事件可以为主机代码和设备代码计时。基本的语法使用示例：计算两个数组的和结果：可以看出第一次调用的时候最费时

青石横刀策马

《CUDA编程》8.共享内存的合理使用共享内存是一种可被程序员直接操控的缓存，主要作用有两个： ①减少核函数中对全局内存的访问次数，实现高效的线程块内部的通信 ②提高全局内存访问的合并度将通过两个具体的例子阐明共享内存的合理使用，一个数组归约的例子和讨矩阵转置的例子

青石横刀策马

CUDA编程技巧（不断搜集更新）位移操作主要适用于无符号整数，对于带符号数的位移，特别是负数，可能会导致问题，如果你需要对负数执行除法或者乘法，最好谨慎使用位移运算。

避免 warp 内分支发散的策略学不完，根本学不完要用的时候再来看，先存着对于简单的条件判断，可以通过使用条件掩码（predication）来避免 warp 内的分支发散。这种技术可以用单个指令执行所有可能的分支路径，而不是通过条件分支选择不同的路径。

Cuda-By-Example - 4第4章使用GPU做并行运算的例子，归结起来就是定义一个内核函数，将数组dev_a和dev_b某一对元素相加。GPU发起N个block运行内核函数。每个block有自己的索引，这样kernel就可以凭借这个索引区分自身，来计算数组对应的元素。在这些例子中，每个block只创建了一个线程。

Windows11安装CUDA、cuDNN、PyTorch详解目录CUDA查看CUDA下载CUDA安装cuDNN安装PyTorch安装复现环境：首先我们需要看一下操作系统是否支持GPU。打开任务管理器，点击性能，如图：

windows下，在vscode中使用cuda进行c++编程CUDA Toolkit Downloads | NVIDIA Developer这里网上教程多的是，在这个网址下载安装即可

cuda内存种类编程层面的内存种类要完整而系统的学习特性：全局内存是GPU中容量最大但延迟最高的一种内存。它可以被所有线程访问，适合存储大量的数据，但访问速度较慢。