GPU架构概述

GPU \textbf{GPU} GPU架构与 CUDA \textbf{CUDA} CUDA编程模型

1. GPU \textbf{1. }\textbf{GPU} 1. GPU体系结构

1️⃣计算单元组织架构

结构 功能
CUDA \text{CUDA} CUDA核心 类似 ALU \text{ALU} ALU(但远没 CPU \text{CPU} CPU的灵活),可执行浮点运算/张量运算/光线追踪(高级核心)
Warp \text{Warp} Warp 多核心共用一个取指/译码器,按 SIMT \text{SIMT} SIMT工作(所有线程指令相同/数据可不同)
SM \text{SM} SM 包含多组 Warps \text{Warps} Warps,所有 CUDA \text{CUDA} CUDA核心共用一套执行上下文(缓存) & \& &共享内存

2️⃣存储层次架构:

  1. 不同 SM \text{SM} SM能够 Access \text{Access} Access相同的 L2 Cache \text{L2 Cache} L2 Cache
  2. 显存与缓存之间的带宽极高,但是相比 GPU \text{GPU} GPU的运算能力仍然有瓶颈

2. \textbf{2. } 2. CUDA \textbf{CUDA} CUDA编程模型

1️⃣ CUDA \text{CUDA} CUDA程序简述

  1. CUDA \text{CUDA} CUDA程序的两部分

    程序 运行位置 主要职责
    Host程序 CPU \text{CPU} CPU 任务管理/数据传输/启动 GPU \text{GPU} GPU内核
    Device程序 GPU \text{GPU} GPU 执行内核/处理数据
  2. Kernel \text{Kernel} Kernel即在 GPU \text{GPU} GPU上运行的函数,如下简单内核定义示例

    c++ 复制代码
    //通过__global__关键字声名内核函数
    __global__ void VecAdd(float* A, float* B, float* C)
    {
       int i = threadIdx.x;
       C[i] = A[i] + B[i];
    }
    int main()
    {
       //通过<<<...>>>中参数指定执行kernel的CUDA thread数量
       VecAdd<<<1, N>>>(A, B, C); 
    }

2️⃣线程并行执行架构

  1. 线程层次:

    结构 地位 功能
    Thread \text{Thread} Thread 并行执行最小单元 执行 Kernel \text{Kernel} Kernel的一段代码
    Warp(32Threads) \text{Warp(32Threads)} Warp(32Threads) 线程调度的基本单位 所有线程以 SIMD \text{SIMD} SIMD方式执行相同指令
    Block \text{Block} Block GPU \text{GPU} GPU执行线程基本单位 使块内线程内存共享/指令同步
    Grid \text{Grid} Grid 并行执行的最大单元 执行整个内核(启动内核时必启动整个 Grid \text{Grid} Grid)
  2. 线程在计算单元的映射:线程层次 ↔ 层次对应 GPU \xleftrightarrow{层次对应}\text{GPU} 层次对应 GPU物理架构

    • 注意 SM \text{SM} SM和 Block \text{Block} Block不必 1v1 \text{1v1} 1v1对应也可 Nv1 \text{Nv1} Nv1对应
  3. 线程在存储单元的映射

    线程结构 可 Access \textbf{Access} Access的内存结构 访问速度
    Thread \text{Thread} Thread 每线程唯一的 Local Memory \text{Local Memory} Local Memory 极快
    Block \text{Block} Block 每块唯一的 Shared Memory \text{Shared Memory} Shared Memory(块中每个线程都可访问) 较快
    所有线程 唯一且共享的 Global Memory \text{Global Memory} Global Memory 较慢

3. CPU \textbf{3. CPU} 3. CPU与 GPU \textbf{GPU} GPU

1️⃣ CPU/GPU \text{CPU/}\text{GPU} CPU/GPU结构对比

GPU \text{GPU} GPU CPU \text{CPU} CPU
ALU \text{ALU} ALU 功能强但数量少(只占 GPU \text{GPU} GPU小部),时钟频率极高 功能弱但数量大,时钟频率低
Cache \text{Cache} Cache 容量大并分级,缓存后续访问数据 容量很小,用于提高线程服务
控制 复杂串行逻辑,如流水/分支预测/乱序执行 简单(但大规模)并行逻辑

3️⃣ CPU ↔ 数据 / 指令传输 PCIe GPU \text{CPU} \xleftrightarrow[数据/指令传输]{\text{PCIe}} \text{GPU} CPUPCIe 数据/指令传输GPU交互

设备 逻辑地位 IO \textbf{IO} IO模块 任务分配
GPU \text{GPU} GPU 外设 IO Block \text{IO Block} IO Block(南桥) 控制逻辑和任务调度
CPU \text{CPU} CPU 主机 Copy Engine \text{Copy Engine} Copy Engine 执行大量并行计算任务
相关推荐
茶馆大橘4 小时前
微服务系列五:避免雪崩问题的限流、隔离、熔断措施
java·jmeter·spring cloud·微服务·云原生·架构·sentinel
coding侠客4 小时前
揭秘!微服务架构下,Apollo 配置中心凭啥扮演关键角色?
微服务·云原生·架构
lipviolet5 小时前
架构系列---高并发
架构
Phodal5 小时前
架构赋能 AI:知识工程推动下的软件架构数字化
人工智能·架构
曹申阳7 小时前
2. JVM的架构模型和生命周期
jvm·架构
车载诊断技术8 小时前
电子电气架构 --- 整车控制系统
网络·架构·汽车·soa·电子电器架构
一叶飘零_sweeeet9 小时前
Dubbo 构建高效分布式服务架构
分布式·架构·dubbo
数据智能老司机9 小时前
LLM工程师手册——监督微调
深度学习·架构·llm
找了一圈尾巴13 小时前
架构师备考-架构基本概念
架构·系统架构