很多初学者刚开始训练深度学习模型时，优化器很容易成为第一个选择难题：SGD 经典，Adam 收敛快，AdamW 又是许多现代模型的默认配置，训练框架里还可能出现 RMSprop、Adafactor 和自动选择。网上的经验往往互相矛盾，有人坚持"视觉任务就用 SGD"，也有人把 AdamW 当作通用答案。更麻烦的是，换一个优化器之后，原来的学习率、权重衰减和调度策略通常也要跟着调整，单独比较优化器名称很难得到可靠结论。
本文先说明优化器在训练中究竟做什么，再分析 SGD、Adam、AdamW 等常见方案的特点，最后给出面向不同任务的选择流程和公平对比方法。读完后，你应该能为新项目确定一个合理起点，也能判断一次"某优化器效果更好"的实验结论是否可信。
一、选择优化器之前，先弄清它负责什么
神经网络完成前向传播后，损失函数会衡量预测结果与目标之间的差距；反向传播则计算损失对各个参数的梯度。梯度告诉我们参数朝哪个方向变化可能使损失下降，但它没有完整回答"每个参数该走多远"。优化器接过这些梯度，并结合学习率、历史状态和正则化设置，计算真正的参数更新量。
最简单的梯度下降可以写成：
θₜ₊₁ = θₜ − ηgₜ
其中，θₜ 是当前参数，gₜ 是梯度，η 是学习率。实际训练中，优化器还可能保存过去若干步的梯度趋势，或者统计每个参数的梯度尺度。于是，同一组梯度交给不同优化器，得到的更新方向和步长可能不同。
这也划清了优化器的能力边界。标签错误、数据分布不合理、损失函数设计有问题时，优化器只能更高效地沿着现有目标更新，无法替训练者修正目标本身。遇到模型不收敛，先检查数据、梯度、损失和学习率，再考虑更换优化器，通常更有效率。
二、SGD：适合愿意长期训练和认真调参的实验
SGD 每次使用一个小批次估计整体梯度，因此更新方向会有波动。工程中很少只用最朴素的 SGD，常见配置会加入 momentum。动量可以理解为给更新方向增加"惯性"：多个批次持续指向同一方向时，步伐逐渐加快；梯度来回摆动时，历史趋势又能削弱一部分震荡。
SGD 的优点是机制简单、状态开销较小。纯 SGD 不需要为每个参数保存额外的动量状态，带 momentum 时通常只需保存一份动量缓冲区。在经典图像分类等训练配方中，SGD 加动量、合适的学习率调度和充分的训练轮数，仍然是很有竞争力的基线。
它的难点也很明确。SGD 对初始学习率、预热、衰减时机和训练时长较敏感，早期损失下降可能慢于自适应优化器。如果直接照搬 AdamW 的学习率给 SGD，结果很可能很差，但这不能说明 SGD 本身不适合任务。相反，若项目训练预算充足、已有成熟配方，或者需要复现以 SGD 为基础的论文，SGD 加 momentum 往往值得优先尝试。
还要谨慎看待"SGD 一定有更好的泛化能力"这类结论。最终效果受到网络结构、数据规模、增强策略、正则化和调度器共同影响。SGD 在一些任务上验证集表现更好，这是一条有用的经验，却不是跨任务成立的定律。
三、Adam：适合快速建立可用基线
Adam 会维护梯度的一阶矩和二阶矩估计。直观地说，一阶矩类似带衰减的平均梯度，用来判断近期更新方向；二阶矩记录梯度平方的平均水平，用来衡量不同参数的梯度尺度。更新时，每个参数都会获得自适应步长：近期梯度尺度较大的参数会被适当缩小步幅，尺度较小的参数则能保留相对明显的更新。
这种机制让 Adam 常常能在训练早期较快降低损失，对梯度噪声较大、尺度差异明显或梯度稀疏的场景也比较友好。需要快速验证模型和数据管线能否工作时，Adam 是很实用的起点。研究原型、自然语言处理任务和部分生成模型中，也能经常见到它。
不过，"自适应"不等于"不用调参"。Adam 依旧受到学习率、批大小、调度策略和正则化的影响。训练损失降得快，也不代表最终验证指标一定更高。另一个现实成本是显存：Adam 通常要为每个可训练参数保存一阶矩和二阶矩两份状态，状态开销高于 SGD 加 momentum。模型很大时，优化器状态可能成为显存预算中的重要部分。
因此，Adam 更适合被理解为容易得到可用结果的基线，而非任何任务上的最终答案。先用它确认训练流程，再根据验证集表现、训练时间和资源占用决定是否继续比较，通常比一开始同时试很多优化器更稳妥。
四、AdamW：为什么成为很多现代模型的常用选择
AdamW 与 Adam 的核心更新逻辑相近，关键差别在于权重衰减的处理方式。在普通 SGD 中，把参数的 L2 惩罚加入损失，常常能得到与权重衰减等价的更新；到了 Adam 这类会按参数自适应缩放梯度的优化器中，两者不再等价。若把 L2 项直接混入梯度，它也会经过自适应缩放，正则化强度会受到梯度统计量影响。
AdamW 将权重衰减从梯度更新中解耦：先根据 Adam 的矩估计计算梯度更新，再单独按设定比例衰减参数。这样一来，学习率负责控制梯度步长，weight decay 更直接地控制参数收缩，两者的含义和调节关系更清楚。
这项改动看似不大，却使 AdamW 成为 Transformer、预训练模型微调、扩散模型以及不少现代视觉任务中的常用方案。新项目缺少成熟经验时，AdamW 往往是很合理的默认起点。这里的"默认"表示它容易构建有竞争力的基线，并不保证它总能胜过 SGD 或其他方法。
使用 AdamW 时，学习率和 weight decay 应分别调节。许多成熟配方还会把偏置参数、归一化层的缩放与偏移参数排除在权重衰减之外。是否排除、排除哪些参数，要以所用模型的官方实现或复现实验配置为准，不能只凭一个通用习惯决定。
五、RMSprop、Adafactor 等优化器什么时候考虑
RMSprop 会根据梯度平方的移动平均调整各参数步长，可以看作自适应学习率方法中的重要代表。它在部分循环神经网络、强化学习任务和一些已有成熟配方的模型中仍有应用。如果论文或官方训练脚本明确采用 RMSprop，优先复现原配置通常比贸然替换更可靠。
Adagrad 会不断累积历史梯度平方，适合部分稀疏特征问题，但学习率可能随着训练持续减小。涉及大型稀疏嵌入时，还可以关注框架提供的 SparseAdam 等专用实现。Adafactor 则通过压缩二阶矩状态降低内存占用，在参数规模很大的模型上具有现实价值，不过它的设置与适用边界更依赖具体训练框架和成熟配方。
面对更新、更复杂的优化器，可以先问三个问题：它解决的是当前项目的真实瓶颈吗？是否有相近任务上的稳定证据？额外超参数和实现复杂度是否值得？如果答案都不明确，用 AdamW、Adam 或 SGD 建立可靠基线，往往比追逐新名称更有信息价值。
六、不同训练场景下怎样做第一次选择
第一次选择优化器时，可以按任务和资源做一个简化判断：
- 已有官方训练配方：优先使用论文、代码仓库或框架推荐的优化器及其配套超参数。优化器、学习率和调度器通常是一整套设计，拆开替换容易破坏原有平衡。
- 快速验证新想法：优先用 AdamW 或 Adam 建立基线。它们通常能较快进入有效训练状态，减少在初始学习率上的反复试错。
- 传统监督视觉任务，训练预算充足：可以重点比较 SGD 加 momentum 与 AdamW。前者需要更认真地设置学习率调度和训练时长，后者更容易获得快速基线。
- Transformer、扩散模型或预训练模型微调：先沿用官方 AdamW 配方，包括学习率、预热、权重衰减和参数分组。
- 梯度非常稀疏：考虑 Adagrad、SparseAdam 等针对稀疏更新的实现，并确认框架是否支持对应参数形式。
- 优化器状态造成显存瓶颈：把状态内存纳入选择。可考虑低精度状态、状态分片或 Adafactor 等方案，但要同时评估收敛稳定性。
小数据集本身并不能直接推出某个优化器更合适。此时过拟合往往比优化速度更值得关注，数据增强、权重衰减、冻结策略、早停和交叉验证可能比更换优化器带来更明显的收益。
七、怎样公平比较两个优化器
很多优化器对比实验的问题，出在"看起来控制了变量"。例如，给 SGD 和 AdamW 使用相同的学习率，然后比较最终精度。数值相同不代表条件公平，因为不同优化器对学习率的合理范围差异很大。更可信的比较应该做到以下几点：
- 固定模型结构、初始权重、数据划分、数据增强、批大小、训练轮数和评估方式，并记录随机种子。
- 分别为每个优化器搜索合适的学习率；权重衰减也应单独调节，尤其不能把 Adam 的 L2 设置直接当成 AdamW 的等价设置。
- 提前说明比较目标。若比较"开箱即用效果"，可以采用各自常见默认配方；若比较"充分调参后的上限"，就要给各优化器相近的调参预算。
- 同时记录最佳验证指标、最后一个周期的指标、达到目标精度所需时间、总训练时间、峰值显存和训练稳定性。
- 条件允许时运行多个随机种子，报告均值和波动。单次实验中零点几个百分点的差距，可能只是随机性。
只看训练损失也容易误判。优化器的目标确实是降低训练目标，但我们最终关心的通常是验证集或测试集表现。一个方法更快拟合训练集，却可能更早过拟合；另一个方法前期较慢，后期验证指标反而更高。把学习曲线、验证指标和资源成本放在一起，结论才有实际意义。
八、YOLO 项目中用自动选择还是手动指定
在 YOLO 训练中，如果框架提供 optimizer=auto，它很适合用来建立第一版基线。自动模式会结合框架当前版本的策略选择优化器和部分超参数，能够减少初次实验的配置负担。需要注意，自动选择逻辑可能随 Ultralytics 版本和任务类型变化，所以实验记录里不能只写一个 auto，还应保存日志中最终解析出的优化器与训练参数。
当目标是复现论文、验证某个优化器的影响，或让多组实验严格可比时，手动指定更合适。此时至少要记录优化器名称、初始学习率、最终学习率比例或调度器、momentum 或 betas、weight decay、batch size、图像尺寸、训练轮数和预训练权重来源。
一个实用的 YOLO 实验顺序是：先运行官方推荐配置或自动模式，确认数据和训练流程正常；再根据曲线判断瓶颈是欠拟合、过拟合还是训练不稳定；随后只比较一到两个有依据的候选优化器，并分别调节学习率；最后依据验证集指标、收敛时间和显存占用做选择。这样得到的结论比连续更换优化器名称更容易复现，也更能指导下一轮实验。
结语
深度学习中没有脱离任务、训练配方和资源约束的"最佳优化器"。有官方配方时，先忠实复现；需要快速建立基线时，AdamW 或 Adam 通常省心；面对训练预算充足的传统视觉任务，可以认真比较 SGD 加 momentum；模型规模很大或梯度稀疏时，再针对状态内存和更新形式选择专用方案。
真正重要的选择单位，是"优化器加学习率、调度器、权重衰减和训练预算"这一整套配置。先用可靠基线确认问题，再给不同优化器各自合理的调参空间，最后依据验证指标、时间、显存和稳定性综合判断。做到这一点，优化器就不再是一道靠经验猜答案的选择题，而会成为可以通过实验验证的工程决策。
项目咨询
如果你正在做深度学习毕设、模型训练或论文实验，遇到选题、数据集、代码调试、模型改进、论文写作等问题，可以通过评论或私信咨询主包。