CUDA核函数，如何设置grid和block即不超过大小又能够遍历整个volume

shchojj2023-11-21 23:40

此问题答案来自于openAI

1、Grid 大小： Grid 的大小由 dim3 grid 定义，其三个分量分别表示在 x、y、z 方向上的 Grid 数量。Grid 的大小不应该超过 GPU 的最大 Grid 大小。cudaDeviceGetAttribute获取限制。

int maxGridSizeX, maxGridSizeY, maxGridSizeZ;
cudaDeviceGetAttribute(&maxGridSizeX, cudaDevAttrMaxGridSizeX, 0);
cudaDeviceGetAttribute(&maxGridSizeY, cudaDevAttrMaxGridSizeY, 0);
cudaDeviceGetAttribute(&maxGridSizeZ, cudaDevAttrMaxGridSizeZ, 0);

2、Block 大小： Block 的大小由 dim3 block 定义，其三个分量表示在 x、y、z 方向上的线程数量。Block 的大小不能超过 GPU 支持的最大线程块大小

int maxBlockSize;
cudaDeviceGetAttribute(&maxBlockSize, cudaDevAttrMaxThreadsPerBlock, 0);

3、保证遍历整个体积： 确保 Grid 和 Block 的大小设置能够覆盖整个体积。

#include <iostream>

const int volume_size_x = 512;
const int volume_size_y = 512;
const int volume_size_z = 512;

int main() {
    int maxGridSizeX, maxGridSizeY, maxGridSizeZ;
    int maxBlockSize;
    
    cudaDeviceGetAttribute(&maxGridSizeX, cudaDevAttrMaxGridSizeX, 0);
    cudaDeviceGetAttribute(&maxGridSizeY, cudaDevAttrMaxGridSizeY, 0);
    cudaDeviceGetAttribute(&maxGridSizeZ, cudaDevAttrMaxGridSizeZ, 0);
    cudaDeviceGetAttribute(&maxBlockSize, cudaDevAttrMaxThreadsPerBlock, 0);

    // 希望的 Block 大小
    dim3 block(8, 8, 8);

    // 计算 Grid 的大小
    dim3 grid(
        std::min((volume_size_x + block.x - 1) / block.x, maxGridSizeX),
        std::min((volume_size_y + block.y - 1) / block.y, maxGridSizeY),
        std::min((volume_size_z + block.z - 1) / block.z, maxGridSizeZ)
    );

    // 输出 Grid 和 Block 大小
    std::cout << "Grid Size: (" << grid.x << ", " << grid.y << ", " << grid.z << ")\n";
    std::cout << "Block Size: (" << block.x << ", " << block.y << ", " << block.z << ")\n";

    return 0;
}

3、如果最大的 Grid 和 Block 依然不能覆盖整个体积，你可以通过多次调用核函数，每次处理部分数据，以覆盖整个体积。在这种情况下，你可以将体积分成块。