torch.empty()造成的内存溢出问题

torch.empty()造成的内存溢出问题

问题

代码实现的时候遇见了一个很奇怪的问题，运行同一段代码会出现一些奇怪的超大指数值，调试发现是混淆了torch.empty 和torch.zeros的概念。对torch.empty初始化的矩阵直接"+="，出现的内存问题。

例如：

import torch

a = torch.empty((3,4))
a += 1

上述代码不会报错，但是结果不正确。

原因

这是由于torch.empty 创建了矩阵会分配一个内存地址，该地址对应的数据是随机的，可能跟你上一次的缓存或者其他数据有关

例如

a = torch.empty((3,4))
#
# tensor([[6.8943e+34, 1.6212e-19, 1.4586e-19, 7.7179e+28],
#        [1.6217e-19, 1.4586e-19, 1.8617e+25, 1.6212e-19],
#        [1.4587e-19, 1.1578e+27, 3.3248e-06, 6.0542e+22]])

这里的矩阵值是随机的，因此torch.empty只起到一个占位的作用，只有需要赋值的时候可以使用，

但是如果明确需要初始值为0，需要torch.zeros

PS: 不排除有一定的机率初始化为0，这就造成程序有一些偶然机会会正常运行