深度学习常用训练命令解释

深度学习项目的训练命令通常是是根据训练文件(train.py)设定来接收参数

举例参考

CUDA_VISIBLE_DEVICES=0,1,2,3 python -m torch.distributed.launch --nproc_per_node 4 --master_port 12345 train.py --dataset rrsisd --model_id RMSIN --epochs 40 --img_size 480 2>&1 | tee ./output

命令解释

1.CUDA_VISIBLE_DEVICES=0,1,2,3:

  • 这个环境变量用于指定哪些 GPU 可用。在这里,设备 0 到 3 被设置为可用 GPU,这意味着你的程序将会使用这些 GPU 进行训练。

  • 单个GPU训练命令

python 复制代码
CUDA_VISIBLE_DEVICES=0 python train.py --dataset rrsisd --model_id RMSIN --epochs 40 --img_size 480 2>&1 | tee ./output
  1. python -m torch.distributed.launch:

    • 这是 PyTorch 的分布式训练模块。使用 -m 选项可以让 Python 作为模块运行,torch.distributed.launch 会负责启动多个进程。
  2. --nproc_per_node 4:

    • 指定每个节点(通常是每个机器)要启动的进程数。在这个例子中,指定为 4,这意味着会启动 4 个训练进程,分别使用前面指定的 4 个 GPU。
  3. --master_port 12345:

    • 这是用于进程间通信的主端口号。所有进程将通过这个端口进行通信。
  4. train.py:

    • 这是你的训练脚本文件,包含了模型训练的代码。
  5. --dataset rrsisd:

    • 指定要使用的数据集名称为 rrsisd。你需要确保在代码中相应地处理这个数据集。
  6. --model_id RMSIN:

    • 这是指定模型 ID 的参数。具体使用时需要在 train.py 中处理这个参数。
  7. --epochs 40:

    • 指定训练的轮数(epochs),在这个例子中为 40 轮。
  8. --img_size 480:

    • 指定输入图像的尺寸为 480(假设是正方形图像)。
  9. 2>&1 | tee ./output:

  • 2>&1 将标准错误输出(stderr)重定向到标准输出(stdout),确保所有输出都被捕获。
  • | tee ./output 将输出同时写入到 output 文件中,并在终端中显示。这样你可以在运行时查看日志,同时保留日志文件。
相关推荐
吴佳浩4 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
岁月宁静7 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者8 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
forest_098 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区9 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔9 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区10 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
starzy199010 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
努力的MM12310 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能