CUDA C 编程入门学习记录

这是本人21年读书时学习CUDA基础知识保留的一些笔记,学习时的内容出处和图片来源不记得了,仅作为个人记录!

CUDA编程

host:主机端CPU

device:设备端GPU

kernels:核函数

  • global:定义一个kernel函数
    • 入口函数,CPU调用,GPU执行,返回void
  • 线程层次
    grid-> block -> threads : 找到一个线程:需要每个线程的编号(threadIdx)和对应的block
  • <<<1个block,block的索引是2维的>>>
  • int i 获取索引的下标
  • 块索引 blockIdx
  • 块维度 blockDim
  • 上面的代码可以只用了一个block,可使用多个block
  1. 线程的全局位置更改(int i)
  2. 定义每个线程块空间大小(16,16)
  3. 需要多少个block(N/16,N/16)
  • 例如N=32
  • 每块16×16个线程(threadIdx([0,15],[0,15]))
  • Grid有2×2个线程块Block(blockIdx([0,1],[0,1]) blockDim = 16)
  • 那么int i = blockIdx.x * blockDim.x + threadIdx.x
  • 线程同步:
  • Host与device数据传输
    • global memory 全局存储器
    • Constant memory 常量存储器
    • cudaMalloc() global memory分配
    • cudaFree()释放空间
  • 拷贝cudaMmcpy(目的地址,原地址,size, cudaMemcpyHostToDevice)
例如矩阵相乘,每个元素互不影响
  • cpu实现:

  • gpu实现:

  1. 对输入和输出数据内存进行管理,分配内存
  2. 并行处理
  3. 拷贝回cpu,释放内存
  4. 伪代码
  5. cuda核函数实现:
  6. 调用
线程同步

每一个块block可以使用__syncthreads()等待上面程序所有线程都执行完成调用下面方法。

参考

图片来源

很老的一个视频但是入门确实是够了,推荐~

相关推荐
iCxhust33 分钟前
c# U盘映像生成工具
开发语言·单片机·c#
yangzhi_emo1 小时前
ES6笔记2
开发语言·前端·javascript
九年义务漏网鲨鱼2 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
emplace_back2 小时前
C# 集合表达式和展开运算符 (..) 详解
开发语言·windows·c#
jz_ddk2 小时前
[学习] C语言数学库函数背后的故事:`double erf(double x)`
c语言·开发语言·学习
萧曵 丶2 小时前
Rust 所有权系统:深入浅出指南
开发语言·后端·rust
xiaolang_8616_wjl2 小时前
c++文字游戏_闯关打怪2.0(开源)
开发语言·c++·开源
收破烂的小熊猫~3 小时前
《Java修仙传:从凡胎到码帝》第四章:设计模式破万法
java·开发语言·设计模式
nananaij3 小时前
【Python进阶篇 面向对象程序设计(3) 继承】
开发语言·python·神经网络·pycharm