训练技巧

智码看视界

深度学习：模型训练调参技巧——学习率、正则化与优化器同一套网络结构，有人能训出 95% 的精度，有人怎么调都卡在 70%——差距往往不在模型，而在调参。本篇不讲玄学，只讲三个可量化、可操作的杠杆：学习率、正则化、优化器。最后我会用一段零依赖的 NumPy 代码，亲自跑出"学习率怎么影响收敛、Adam 凭什么比 SGD 快"的真实数据，而不是空谈理论。

Pytorch分布式训练print()使用技巧在分布式训练场景中，有时我们可能会需要使用print函数（虽然大部分情况下大多会用logging进行信息输出）在终端打印相关信息。但由于同时运行多个进程，如果不进行限制，每个进程都会打印信息，不但影响观感，而且可能会造成阻塞。

我是有底线的