随机种子定不死找bug

记录一次debug的心路历程

在运行别人的开源项目时遇到了随机种子定不死的情况, 运行一开始会有1e-5次方左右的误差, 后面误差会越来越大。

一开始以为是随机种子没有定死, 使用的以下代码固定的随机种子:

python 复制代码
    torch.manual_seed(seed)
    torch.cuda.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)  # if you are using multi-GPU,为所有GPU设置随机种子
    np.random.seed(seed)
    random.seed(seed)
    torch.backends.cudnn.benchmark = False
    torch.backends.cudnn.deterministic = True

发现结果依然随机, 其表现形式为:训练时训练数据第一次经过模型产生的输出与loss完全相同, 但是, 经过一次backward之后第二个循环就会产生区别。这时的区别在1e-5左右,如果放任不管,第一个epoch训练完成产生的结果差异巨大。

一开始认为是网络的问题,存在某些网络层会引入随机性,但是,将第一次循环后的optimizer中的网络梯度打印出来,发现绝大多数的网络层会有1e-6左右的误差。

其次是怀疑整个网络使用了 getattr(torchvision.models, name)( replace_stride_with_dilation=[False, False, dilation], pretrained=False, norm_layer=FrozenBatchNorm2d) 引入的随机性, 但是将这个模块提出来单独测试后也排除了问题。

陷入了僵局,在确保输入完全相同,网络结构也无随机性的情况下,将目光看向了loss函数上,经过了一些简单的小测试(对于所有的预测结果不做任何后处理,全改成MSE loss),发现并无随机性,将问题定位到了loss的后处理上。

最后经过逐行定位,发现问题出现在torch.gather中。并且发现往上也有类似的贴子在说这个问题
https://discuss.pytorch.org/t/torch-gather-uncontrollable-randomness-quirky/63631

其他也可能引入随机性的操作: os.listdir(), set() - set()

还需要注意一个问题, 那就是多卡时打印顺序的问题,如下2次实验结果相同, 但是打印的顺序不同!此时得到的效果也是稳定可复现的。

相关推荐
2601_967987372 天前
程序员遇到BUG的解释
程序员·bug·软件开发·调试·幽默
jianqiang.xue2 天前
线程一切换浮点全作废:五天修好的隐秘bug
bug
寂寞的船5 天前
【Unity Bug挑战】第12期 Awaitable 二次 await 死锁之谜 —— 为什么同一个异步操作等两次就卡死?
unity·c#·游戏引擎·bug
海拥✘6 天前
让 AI 修 AI 平台自己的 Bug:我用 SoduWork 给 SoduWork 提了一个 PR
人工智能·bug
Risehuxyc8 天前
fix bug
bug
拖累斯11 天前
Jenkins + Python 全自动跑通「禅道任务/BUG 导出 → 月度开发考核表」
python·jenkins·bug
寂寞的船11 天前
【Unity Bug挑战】第10期 SerializeReference 内存泄漏之谜
unity·c#·游戏引擎·bug
unity工具人12 天前
unity 照片墙插件(Pop-up Photo Wall)在触摸屏和红外框设备上的触发Bug
bug
灼行15 天前
Autosar SecOC 需求场景BUG(需求不一致性)【草稿】
bug
小豆庄17 天前
视频遮罩追踪退场后ID撞号的排查—多目标场景下的失效
opencv·算法·bug·视频·python3.11