【CUDA8】第一个CUDA C++ Kernel --vector add

我们今天写一个最简单的GPU程序:

Ci = Ai + Bi

c++ 复制代码
for (int i = 0; i < N; i++) {
    C[i] = A[i] + B[i];
}

CUDA一个thread负责一个元素

first CUDA kernel

c++ 复制代码
__global__ void vector_add(
    float* A,
    float* B,
    float* C,
    int N
) {
    int i = blockIdx.x * blockDim.x + threadIdx.x;

    if (i < N) {
        C[i] = A[i] + B[i];
    }
}

//__global__ 表示这是一个CUDA kernel,可以有CPU发起,然后再GPU上执行.还需要告诉GPU启动多少个block,每个block多少个thread,CUDA有一种非常特殊的调用语句vector_add<<<blocks, threads>>>(A, B, C, N);,代表blocks个blocks,每个block有threads个threads。

//参数AB为输入数组,C为输出数组 N为数组数量

//i负责计算当前thread到底应该处理哪个元素

完整的CUDA程序

c++ 复制代码
#include <iostream>
#include <cuda_runtime.h>

__global__ void vector_add(
    float* A,
    float* B,
    float* C,
    int N
) {

	//GPU程序
    int i = blockIdx.x * blockDim.x + threadIdx.x;//Thread  Block block中thread数

    if (i < N) {
        C[i] = A[i] + B[i];
    }
}

int main() {

    int N = 1000;

    size_t size = N * sizeof(float);

    float* A;
    float* B;
    float* C;

    cudaMalloc(&A, size);
    //在pytorch中直接torch。rnadn(N,device="cuda"),pytorch帮我们做了大量底层工作,在cuda c++中,我们自己申请GPU memory,cudaMalloc(&A,size),意思是在GPU global memory中分配一块内存,
    cudaMalloc(&B, size);
    cudaMalloc(&C, size);

    vector_add<<<
        (N + 255) / 256,
        256
    >>>(A, B, C, N);//grid

    cudaDeviceSynchronize();
    //CPU等待GPU完成,和torch.cuda.synchronize()同源

    cudaFree(A);
    cudaFree(B);
    cudaFree(C);

    return 0;
}

实现流程:

复制代码
CPU
 │
 │ vector_add<<<blocks, threads>>>
 ▼
CUDA Runtime
 │
 ▼
GPU
 │
 ├── Block 0
 │    ├── Thread 0 → C[0]
 │    ├── Thread 1 → C[1]
 │    ├── Thread 2 → C[2]
 │    └── ...
 │
 ├── Block 1
 │    ├── Thread 0 → C[256]
 │    ├── Thread 1 → C[257]
 │    └── ...
 │
 └── Block 2
      ...
相关推荐
吴名氏.28 分钟前
Java转AI Agent教程(第十五周)政策时效:过期政策不该被召回,也不能被删掉
java·人工智能·python·ai·ai agent
文丑颜不良啊10 小时前
LeetCode2981~3000题目解析
java·leetcode
nice_lcj52011 小时前
【从零理解 Spring AI · 13】RAG 要解决什么:把“闭卷考试“变成“开卷“
java·spring·检索增强·rag·spring ai·ai应用开发
pps-key11 小时前
网络攻防入门:从“黑客梦”到合法实操(生存篇)
开发语言·web安全·php
学长毕设12 小时前
基于SpringBoot军事纪念馆管理系统设计与实现-附源码
java·spring boot·后端
汤姆宝库12 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
这个昵称不容易13 小时前
SpringBoot 医疗病历交互系统的设计与实现:192 个 Java 文件、256 个接口、22 张表,附真实运行截图
java·springboot·毕设
驭渊的小故事14 小时前
订单服务如何调用商品服务?一次 RestTemplate 跨服务调用入门
java·开发语言·php
南风841115 小时前
C++ 四种强制类型转换详解
c++
Sakura_j_h_15 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver