深度学习seed()函数随机种子详解

目录

一、seed定义

seed() 函数用于设置随机数生成器的种子,它在生成随机数时提供了可重复性。这个种子是生成随机数的起始点,相同种子生成的随机数序列是确定性的,也就是说,在相同的种子下,每次生成的随机数序列都是一样的。

在很多编程语言和库中,seed() 函数被用于初始化伪随机数生成器。在 Python 中,它常常与 random 模块、numpy 库或者机器学习库(比如 PyTorch、TensorFlow)中的随机数生成相关的函数一起使用。

二、为什么要使用seed()随机种子?

  1. 可重复性: 在科学实验、模型训练等需要随机性但也需要可重复性的场景下,设置种子可以确保多次运行产生相同的随机数序列,方便验证和调试。
  2. 复现性: 在机器学习中,如果模型的随机初始化在不同的训练运行中是随机的,那么结果可能会有所不同。通过设置种子,可以确保每次训练使用相同的初始权重,以便比较和分析模型性能。

三、随机种子在不同库中的使用

  • Python 中的 random 模块:random.seed(seed_value),用于生成伪随机数序列。
  • NumPy 中的 numpy.random:numpy.random.seed(seed_value),用于生成 NumPy 库中的随机数组。
  • 机器学习库中的随机性控制:比如 PyTorch 中的 torch.manual_seed(seed) 用于控制随机数生成,在模型训练中确保重复性。
  • 深度学习框架中的 GPU 随机性控制:对于使用 GPU 的深度学习框架(如 PyTorch、TensorFlow),通常也会有类似 torch.cuda.manual_seed(seed) 的函数,用于设置 GPU 相关的随机种子,以保证实验结果的一致性。

3.1 random.seed(seed)

这是 Python 标准库中 random 模块的函数。random 模块提供了伪随机数生成器,通过设置种子,你可以控制生成的随机数序列。在这里,random.seed(seed) 将 Python 内置的随机数生成器的种子设置为提供的 seed 值,以确保每次程序运行时都产生相同的随机数序列。这对于调试和可重复的实验是很有用的。

代码实现:

python 复制代码
import random

seed_value = 42  #可以随机设置
random.seed(seed_value)
for i in range(5):
    random_number = random.random()
    print('random_number_{}:{}'.format(i, random_number))

输出结果:

当我修改循环次数为3时,会发现输出结果和循环5次生成的前三次结果相同。

3.2 np.random.seed(seed)

这是 NumPy 库中随机数生成器的设置方法。NumPy 提供了丰富的科学计算功能,其中包括了伪随机数生成器。通过设置 np.random.seed(seed),你确保了在使用 NumPy 的随机函数时生成的随机数序列是可重复的。这对于涉及到数组和矩阵运算的科学计算任务非常重要。

代码实现:

python 复制代码
import numpy as np

seed_value = 42  # 可以随机设置
np.random.seed(seed_value)
for i in range(5):  #第二次修改成6
    numpy_number = np.random.rand(3)  # 生成数组
    print('numpy_number_{}:{}'.format(i, numpy_number))

循环5次和循环6次输出结果如下,通过输出结果可以看出,两次输出的前5个数组内容相等。

3.3 torch.manual_seed(seed)

这是 PyTorch 深度学习框架中的函数,用于设置随机数生成器的种子。深度学习中涉及到许多随机性操作,例如参数初始化和数据划分。通过设置 PyTorch 的种子,你可以确保这些操作在不同运行中产生相同的结果,有助于实验的可重复性和可控性。这个函数是用于CPU上的

代码实现:

python 复制代码
import torch
# 设置CPU上的随机数生成器种子
seed_value = 42
torch.manual_seed(seed_value)
# 生成随机张量
random_tensor_cpu = torch.rand(3)
print("Random Tensor (CPU):", random_tensor_cpu)

输出结果:

在这个例子中,我们使用torch.rand(3)生成一个包含三个随机数的张量,并在之前设置了CPU上的随机数生成器种子。如果你多次运行这段代码,你会发现生成的随机张量在每次运行时都是相同的,这证明了torch.manual_seed(seed)在CPU上的作用。

值得注意的是,当你使用GPU时,如果没有设置GPU上的随机数生成器的种子,即使在CPU上设置了种子,GPU上生成的随机数仍然可能是不同的。因此,如果你在实验中使用了GPU,最好也设置一下GPU上的随机数生成器种子,使用 torch.cuda.manual_seed(seed)。

3.4 torch.cuda.manual_seed(seed)

类似于上述的 torch.manual_seed(seed),但专门用于 CUDA(GPU 加速)环境中。当深度学习任务在 GPU 上执行时,设置 CUDA 的种子可以确保在 GPU 上的随机数生成也是可重复的。

代码实现:

python 复制代码
import torch

seed_value = 42
torch.manual_seed(seed_value)  # 放到cpu中
torch.cuda.manual_seed(seed_value)  # 放到GPU中
if torch.cuda.is_available():
    # 在GPU上生成随机张量
    for i in range(3):
        random_tensor_gpu = torch.rand(3).cuda()
        print("Random Tensor (GPU):", random_tensor_gpu)
else:
    print("CUDA is not available.")

循环3次和循环5次的输出结果如下:

多次运行代码并且每次都得到相同的随机张量,那么你就可以确定torch.cuda.manual_seed(seed)成功设置了GPU上的随机数生成器的种子。这样可以确保在使用GPU进行计算时,实验结果的随机性是可控的,可以得到可重复的结果。

但是需要注意,经过测试,设置GPU种子的时候没有使用torch.manual_seed(seed_value),那么生成的随机数组每次都不一样,所以想要设置GPU上生成随机数每次一样,必须将随机种子同时放到CPU和GPU上。

四、注意事项

  • 全局性: 设置种子是全局性的,一旦设置,会影响整个随机数生成器的行为,包括其他使用该随机数生成器的代码。
  • 不同版本之间的兼容性: 不同版本的库可能会对随机数生成器的实现方式有所不同,因此在不同版本间可能会有微小的差异。
  • 线程安全性: 在多线程环境下,设置种子需要特别小心,以避免竞争条件导致的问题。
    总的来说,seed() 函数是一个控制随机性并确保实验结果可复现性的重要工具,但在使用时需要考虑全局影响和不同库之间的差异。
相关推荐
galileo201614 分钟前
LLM与金融
人工智能
DREAM依旧30 分钟前
隐马尔科夫模型|前向算法|Viterbi 算法
人工智能
GocNeverGiveUp43 分钟前
机器学习2-NumPy
人工智能·机器学习·numpy
B站计算机毕业设计超人2 小时前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
学术头条2 小时前
清华、智谱团队:探索 RLHF 的 scaling laws
人工智能·深度学习·算法·机器学习·语言模型·计算语言学
18号房客2 小时前
一个简单的机器学习实战例程,使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集(Iris Dataset)**的分类
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·sklearn
feifeikon2 小时前
机器学习DAY3 : 线性回归与最小二乘法与sklearn实现 (线性回归完)
人工智能·机器学习·线性回归
游客5202 小时前
opencv中的常用的100个API
图像处理·人工智能·python·opencv·计算机视觉
古希腊掌管学习的神2 小时前
[机器学习]sklearn入门指南(2)
人工智能·机器学习·sklearn
Ven%2 小时前
如何在防火墙上指定ip访问服务器上任何端口呢
linux·服务器·网络·深度学习·tcp/ip