【CUDA1】GPUvsCPU,CUDA Kernel

这个系列我们来讲解CUDA,从入门到可以独立写自己的cuda代码,现在开启我们的cuda之旅吧。

CPU:少量非常强的核心,一个核心很强,擅长:

  • 复杂逻辑
  • 分支判断
  • 操作系统
  • Python 程序
  • 各种串行任务

GPU:大量相对简单的计算单元,同时执行大量相似任务。

CPU有内存,RAM,GPU有显存,VRAM。

复制代码
x = torch.randn(1000, 1000)//默认是CPU RAM
print(x.device)//CPU

x = torch.randn(1000, 1000, device="cuda")//GPU VRAM
print(x.device)//cuda:0 第 0 张 NVIDIA GPU

y = torch.randn(1000, 1000, device="cuda")

z = x @ y//矩阵乘法

第一个程序(建议手写)

python 复制代码
import torch  
  
print("CPU:")  
x = torch.randn(3,3)  
print(x)  
print("device:",x.device)  
  
  
print()  
  
print("GPU:")  
y = torch.randn(3,3,device="cuda")  
print(y)  
print("device:",y.device)

什么是CUDA kernel?

可以把它理解为让 GPU 执行的一段程序,比如我们需要Ci = Ai + Bi;有1亿个元素,GPU启动大量线程

复制代码
Thread 0 → C[0] = A[0] + B[0]

Thread 1 → C[1] = A[1] + B[1]

Thread 2 → C[2] = A[2] + B[2]

Thread 3 → C[3] = A[3] + B[3]

...

Thread 99999999 → C[99999999] = ...

当然GPU不是真的同时拥有这么多的物理计算核心,所以我们需要把thread分组,若干个thread合成一个block,我们再将所有的block集合为grid,于是形成了一个层级结构

复制代码
                 Grid
                  │
       ┌──────────┼──────────┐
       ↓          ↓          ↓
    Block 0    Block 1    Block 2
       │          │          │
    Threads    Threads    Threads

GPU内部存在一种叫SM的计算单位,暂时可以理解为GPU里面真正负责执行CUDA Thread的计算单元。我们现在不讨论这个,就直接进入threads步骤,每个thread都有自己的ID,CUDA给我们提供threadIdx来获取thread的编号

eg:int i = threadIdx.x;//c++

Ci = Ai + Bi;//thread就知道自己负责谁了

这个i其实不会太大,因为block的存在,如果大了的话,我们会换一个block,同样的,CUDA提供blockIdx表示我是第几个block,再加上threadIdx,表示我是这个block的第几个thread,于是全局的Thread ID可以计算

c++ 复制代码
int i = blockIdx.x*blockDim.x+threadIdx.x;

我们来算一下,block0 thread0是多少?

假设每个block有256个thread

int i = 0 * 256+0=0;这个就是CUDA把大数组分给GPU的核心方法。

CUDA程序实际上是在协调CPU和GPU。

复制代码
             CPU
              │
              │ 启动 Kernel
              ↓
             GPU
              │
              ↓
          CUDA Kernel
              │
       ┌──────┼──────┐
       ↓      ↓      ↓
     Thread Thread Thread

first CUDA

我们之前写的import torch,它使用torch库来直接调用CUDA Kernel,现在我们开始接触真正的CUDA C++。

复制代码
__global__ void add(float* A, float* B, float* C)
{
    int i = blockIdx.x * blockDim.x + threadIdx.x;

    C[i] = A[i] + B[i];
}
相关推荐
装不满的克莱因瓶22 分钟前
【从零搭建】AI大模型之ReactAgent智能体对接MCP实战
java·人工智能·ai·springai·mcp·springaialibaba
百度Geek说37 分钟前
研发Loop的上下文优化与多Agent协作实践
人工智能
七夜zippoe1 小时前
Nexent 模型配置:4 字段与 9 个槽位
数据库·人工智能·模型·nexent
硅农程序猿1 小时前
SOC 物理实现: RTL2GDS 系列(二)—Innovus 初始化
人工智能·嵌入式硬件·硬件架构
梦想很大很大1 小时前
一句“你好”用了 5671 Token:我在 Workrun 中追查 Agent 隐性成本的过程
前端·人工智能·后端
诗句藏于尽头1 小时前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏
依晨照旧1 小时前
从 MQ 积压查出 4000 个线程:不是泄漏,是事件总线的设计代价
人工智能
英辰朗迪AI获客2 小时前
英辰朗迪GEO知识库第188期:动态渲染站点在AI搜索里成了隐形人
人工智能
硅谷秋水2 小时前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
MobotStone2 小时前
AI 能不能越用越会用?从“改答案”到“改进自己”,读懂 RSI
人工智能·算法