vscode对python进行多卡调试

在 VSCode 中对 Python 进行多卡（多GPU）调试，尤其是对于深度学习任务（例如使用 PyTorch 或 TensorFlow），你需要结合 VSCode 的调试功能与分布式训练框架来实现。多卡调试通常意味着你要调试并行的计算任务，这需要协调多个 GPU 的计算资源和并发代码的执行。

1. 环境准备

安装相关工具

确保你安装了以下工具：

• VSCode: 安装最新版的 VSCode。
• Python 插件: 安装 VSCode 中的 Python 插件（Microsoft 官方插件）。
• CUDA 和 GPU 驱动: 如果你在本地进行多卡训练调试，需要安装对应的 GPU 驱动、CUDA 和 cuDNN。
• NVIDIA NCCL: 多 GPU 训练时 PyTorch 使用 NCCL 进行通信。
• Python Debugger (debugpy): 支持远程和本地调试。

pip install debugpy

2. 在代码中配置调试（debugpy）

为了在 VSCode 中进行多卡调试，你可以在代码中添加 debugpy，使得 VSCode 可以附加到正在运行的多卡训练程序中。

在代码中（例如 PyTorch 分布式训练）插入调试的配置：

import torch
import debugpy

def setup_debug(rank):
    if rank == 0:  # 只在主节点上进行调试
        print(f"Debugger listening on rank {rank}")
        debugpy.listen(("0.0.0.0", 5678))  # 监听端口
        debugpy.wait_for_client()  # 等待VSCode调试器附加
        print("Debugger attached")
    else:
        print(f"Running on rank {rank} without debugger")

3. 启动多卡训练

使用 PyTorch 的 torch.distributed.launch 或 torchrun 来启动多 GPU 训练：

torchrun --nproc_per_node=4 --master_port=12345 your_script.py

这里 --nproc_per_node=4 表示你将使用 4 个 GPU。你可以在代码中设置每个 GPU 的任务和逻辑。

4. 配置 VSCode 调试器

1. 打开 VSCode 的 launch.json 配置文件（位于 .vscode/launch.json），并添加调试配置以支持远程调试或多进程调试。

2. 在 launch.json 中为多 GPU 环境添加调试配置：

{
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: Attach (remote debugging)",
            "type": "python",
            "request": "attach",
            "host": "localhost",
            "port": 5678,  # 这里与代码中的 debugpy.listen() 保持一致
            "justMyCode": false
        }
    ]
}

5. 连接 VSCode 调试

1. 启动多卡训练脚本后，确保程序在 debugpy.wait_for_client() 处等待。

2. 在 VSCode 中启动调试任务：按下 F5 或从调试菜单中选择配置为"Python: Attach (remote debugging)"的任务，VSCode 会连接到你在程序中设置的调试点。

6. 多卡调试技巧

• 主进程调试：通常只调试主进程（rank 0），因为它负责协调训练过程，其他 GPU 上的 worker 进程可以通过日志或其他方式进行监控。
• 分布式日志输出：在多 GPU 环境下，输出日志时可以给每个 GPU 进程标记 rank，以便区分不同卡的输出。
• 调试性能问题：多卡训练中常见的问题是性能瓶颈，例如 GPU 闲置时间过长或者通信开销过大。使用调试器和性能分析工具可以帮你诊断这些问题。