thread block grid模型

  1. 一维网格结构-->一条直线(1D 线): 整体只有一个x方向, 只能向一个方向走, 如果把thread当成点, block当成线, 那么grid是首位相连的block, 也就是整体是一条直线 ;
  • 全局线程 ID
java 复制代码
/*
想在直线上拿到全局id, 要逐步缩小范围, 首要要知道在这个线上的哪个部分, 也就是哪个block(blockIdx.x),
然后要知道前面的若干block总共包含多杀线程, 那就是要知道一个block包含多少线程(blockDim.x), 两者之积( blockDim.x * blockIdx.x)
也就拿到了block层面的id, 下一步深入到block内部, 要知道我在此block的id(threadIdx.x), 两者加起来就是全局id
*/
tid=threadIdx.x + blockDim.x * blockIdx.x
  1. 二维网格结构-->一个平面(2D 矩形): 整体有x,y两个方向, 如果把每个 thread 当作一个点,点有x和y两个走向, 那么一个 block 就是平面上的一块小矩形(由 threadIdx.x 和 threadIdx.y 张成的点阵)。若干个 block 在 x 和 y 方向上平铺排列,组成整个 grid(一个大的矩形平面)。
  • 全局线程 ID(一维线性化,行优先):
java 复制代码
/*
首先, 二维网格整体是个大矩阵, 所以要规定方向, 是行优先还是列优先, 此处为行优先
整个大矩阵是有若干个x向和y向的小矩阵组成的, 所以当我们要知道某个线程的具体id, 要先知道, 我这个线程所在
块的行
blockDim.x *blockDim.y 
*/
tid = 全局的 x 坐标 + 全局的 y 坐标 * 整个网格的宽度
      threadIdx.x + blockDim.x * blockIdx.x  //全局的 x 坐标(列号)
      + (threadIdx.y + blockDim.y * blockIdx.y) * (blockDim.x * gridDim.x)
     // +  全局的 y 坐标(行号)* 整个网格的 宽度(x 方向总线程数)
      
tid = block起始偏移 + 局部偏移
    = (blockIdx.y * gridDim.x + blockIdx.x) * (blockDim.x * blockDim.y) //blockId*block内线程数
      + (threadIdx.y * blockDim.x + threadIdx.x) // 块内的id
      
或者更清晰地写成:

x = blockIdx.x * blockDim.x + threadIdx.x
y = blockIdx.y * blockDim.y + threadIdx.y
tid = x 
      + y * (blockDim.x * gridDim.x)
- 其中 blockDim.x * gridDim.x 是整个平面的宽度(x 方向总点数)。
  1. 三维网格结构-->一个立体(3D 长方体):
  • 整体有 x, y, z 三个方向。
  • 一个 block 是一个小长方体(由 threadIdx.x, threadIdx.y, threadIdx.z 确定的点阵)。
  • 若干个 block 在 x, y, z 方向上立体排列,组成整个 grid(一个大的长方体)。
  • 全局线程 ID(一维线性化,按 x→y→z 顺序):
java 复制代码
x = blockIdx.x * blockDim.x + threadIdx.x
y = blockIdx.y * blockDim.y + threadIdx.y
z = blockIdx.z * blockDim.z + threadIdx.z
tid = x 
      + y * (blockDim.x * gridDim.x)
      + z * (blockDim.x * gridDim.x) * (blockDim.y * gridDim.y)
- 其中:
  - width = blockDim.x * gridDim.x (x 方向总点数)
  - height = blockDim.y * gridDim.y (y 方向总点数)
  - depth = blockDim.z * gridDim.z (z 方向总点数,通常用于体素或3D卷积)
相关推荐
强哥聊算力37 分钟前
《算力江湖·英伟达传奇》第七集:ChatGPT出现前夜,英伟达发生了什么?
服务器·人工智能·算法·ai·chatgpt·gpu算力
Navigator_Z4 小时前
LeetCode //C - 1289. Minimum Falling Path Sum II
c语言·算法·leetcode
CCblandy5 小时前
令牌桶在 0.9 倍负载超发 19%、固定窗口边界放行 20 个:四种限流算法同构实测
后端·python·算法·性能优化·架构
YangYang9YangYan6 小时前
2027供应链计划校招:数学与应用数学专业如何把预测模型讲成业务决策?
人工智能·sql·算法
jsjzsl26 小时前
递归自改进系统(RSI)的本质是自发对称破缺:智能爆炸有界—— AI研发切记盲目投入
人工智能·python·算法
程序员清风6 小时前
最短路径算法:BFS、Dijkstra 与 Floyd
java·算法·宽度优先
梦帮科技6 小时前
Kali Linux Scapy 畸形报文构造学——深度解剖非法 TCP Flags 与反常序列号
linux·爬虫·神经网络·算法·数学建模·系统架构·模拟退火算法
171320330计算机毕设编程8 小时前
计算机毕业设计 基于YOLO改进算法的车辆特征识别系统设计与实现--lw
java·大数据·python·sql·算法
姜鱼问生8 小时前
Nginx gzip 压缩:一个配置让页面加载快 3 倍
后端·算法·架构