cuda

cudnn版本gpu架构nvcc --help 可以看 --gpu-architecture 写到的支持的架构NVIDIA 的 GPU 架构是按代次发布的，以下是这些架构的对应说明：

auto-gptq安装以及不适配软硬件环境可能出现的问题及解决方式Auto-GPTQ 是一种专注于量化深度学习模型的工具库。它的主要目标是通过量化技术（Quantization）将大型语言模型（LLM）等深度学习模型的大小和计算复杂度显著减少，从而提高推理效率，同时尽可能保持模型的性能。

爱听歌的周童鞋

Depth-Anything推理详解及部署实现（下）在 Depth-Anything推理详解及部署实现（上）文章中我们有提到如何导出 Depth Anything 的 ONNX 模型，这篇文章就来看看如何在 tensorRT 上推理得到结果

因为风的缘故~

Ubuntu22.04安装cuda12.1+cudnn8.9.2+TensorRT8.6.1+pytorch2.3.0+opencv_cuda4.9+onnxruntime-gpu1.18说来话长，我想配一个一劳永逸的环境，方便以后复用。省的以后反复查教程重新装了这块内容来自：https://docs.infini-ai.com/posts/install-cuda-on-devmachine.html

tensorflow gpu版安装（直接anaconda虚拟环境中配置cuda，无需主机安装cuda、cudnn）cuda可以直接装到电脑上，但是安装步骤复杂，且失败率较高。选择anaconda虚拟环境安装，操作简单，且可以结合pytorch、tensorflow等深度学习框架的不同版本，安装不同的版本的cuda，各个虚拟环境互不干扰，也可以一键删除。

self-motivation

gpu硬件架构NVIDIA在视觉计算和人工智能（AI）领域处于领先地位；其旗舰GPU已成为解决包括高性能计算和人工智能在内的各个领域复杂计算挑战所不可或缺的。虽然它们的规格经常被讨论，但很难掌握各种组件的清晰完整的图景。

Ubuntu22.04安装英伟达驱动目录1.1 禁用nouveau驱动1.2 安装必要的依赖项1.3 下载安装1.4 查看是否安装成功1.5 安装CUDA

爱串门的小马驹

CUDA 计时功能，记录GPU程序/函数耗时，cudaEventCreate，cudaEventRecord，cudaEventElapsedTime为了测试GPU函数的耗时，可以使用 CUDA 提供的计时功能：cudaEventCreate, cudaEventRecord, 和 cudaEventElapsedTime。这些函数可以帮助你测量某个 CUDA 操作（如设置设备）所花费的时间。

程序员非鱼

深入解析神经网络的GPU显存占用与优化显存（GPU Memory）是图像处理器（GPU）上的专用内存，用于存储和处理图形数据及其他需要高并行计算的数据。在深度学习中，显存主要用于存储神经网络的模型参数、输入数据、中间计算结果（激活值）和梯度信息等。

NCU使用指南及模型性能测试（pytorch2.5.1）本项目在原项目的基础上增加了Nsight Compute(ncu)测试的功能，并对相关脚本功能做了一些健硕性的增强，同时，对一些框架的代码进行了更改（主要是数据集的大小和epoch等），增加模型性能测试的效率，同时完善了模型LSTM的有关功能。

【CUDA】CUDA Hierarchy首先简单介绍CUDA 编程的基本概念：讲解 Host（CPU）与 Device（GPU）的区别、内存管理以及 CUDA 运行时的工作机制。

不高明的骗子

【深度学习之一】2024最新pytorch+cuda+cudnn下载安装搭建开发环境直接上链接了兄弟们，这个可能需要科学上网，这里我就不多说了哈。下载各个历史版本的cuda戳这里打开这个地址之后我们可以看到这样的界面：由于我的电脑最高是支持到12.7的所以我下载的是比较稳定的12.6.2（2024年10月版），直接点击链接，这样我们就可以进入下载环节了，我的操作系统是win11，所以我下载的是如图所示的版本，其中特别需要注意的是，下载exe(local)版本，然后download就可以得到这样一个.exe文件运行这个.exe文件安装cuda就行了，具体的，详细的方法可以参照这个uu

布鲁格若门

CentOS 7 桌面版安装 cuda 12.4

ubuntu.24安装cuda1.下载CUDA Toolkit https://developer.nvidia.com/cuda-toolkit-archive 2.按照命令下载，安装

扫地的小何尚

NVIDIA RTX 系统上使用 llama.cpp 加速 LLM适用于 Windows PC 的 NVIDIA RTX AI 平台提供了一个蓬勃发展的生态系统，其中包含数千种开源模型，供应用程序开发人员利用并集成到 Windows 应用程序中。值得注意的是，llama.cpp 是一款流行的工具，在撰写本文时拥有超过 65,000 个 GitHub 星标。这个开源存储库最初于 2023 年发布，是一个轻量级、高效的大型语言模型 (LLM) 推理框架，可在包括 RTX PC 在内的一系列硬件平台上运行。

吃肉夹馍不要夹馍

CublasLt 极简入门官方文档： cublasLt文档网上搜了挺多，Cublas的文档有不少，但是对于cuda10以上轻量化的cublasLt 的文档或博客却很少。

Ubuntu系统安装NVIDIA驱动、CUDA、PyTorch等GPU深度学习环境1.1 官网下载Linux安装文件。下载链接: 点击跳转1.2 安装Anaconda。进入文件下载位置，文件夹空白处右键打开终端，终端输入以下命令安装，后面一直Yes即可。

(8) cuda分析工具NVIDIA Nsight Systems是一个系统级的性能分析工具，用于分析和优化整个CUDA应用程序或系统的性能。它可以提供对应用程序整体性能的全面见解，以及考察GPU活动、内存使用、线程间通信等方面的详细信息，它提供了可视化界面和统计数据，开发人员可以使用它来发现性能瓶颈、调整应用程序的配置，以及提高整体性能

【CUDA代码实践03】m维网格n维线程块对二维矩阵的索引为了方便下次找到文章，也方便联系我给大家提供帮助，欢迎大家点赞👍、收藏📂和关注🔔！一起讨论技术问题💻，一起学习成长📚！如果你有任何问题或想法，随时留言，我会尽快回复哦😊！

Ubuntu20.04 更新Nvidia驱动 + 安装CUDA12.1 + cudnn8.9.7最近客户给了几台GPU服务器，长期放置落灰那种，然后想利用起来，所以上去看看了配置，系统是Ubuntu20.04，相关的驱动版本稍嫌老一些，所以需要更新Nvidia驱动，同时在安装CUDA和CUDNN，查看了显卡型号之后，打算使用onnxruntime进行推理，对比了版本，最后选择了CUDA12.1 + CUDNN8.9.7。