深度学习seed()函数随机种子详解

目录

一、seed定义

seed() 函数用于设置随机数生成器的种子,它在生成随机数时提供了可重复性。这个种子是生成随机数的起始点,相同种子生成的随机数序列是确定性的,也就是说,在相同的种子下,每次生成的随机数序列都是一样的。

在很多编程语言和库中,seed() 函数被用于初始化伪随机数生成器。在 Python 中,它常常与 random 模块、numpy 库或者机器学习库(比如 PyTorch、TensorFlow)中的随机数生成相关的函数一起使用。

二、为什么要使用seed()随机种子?

  1. 可重复性: 在科学实验、模型训练等需要随机性但也需要可重复性的场景下,设置种子可以确保多次运行产生相同的随机数序列,方便验证和调试。
  2. 复现性: 在机器学习中,如果模型的随机初始化在不同的训练运行中是随机的,那么结果可能会有所不同。通过设置种子,可以确保每次训练使用相同的初始权重,以便比较和分析模型性能。

三、随机种子在不同库中的使用

  • Python 中的 random 模块:random.seed(seed_value),用于生成伪随机数序列。
  • NumPy 中的 numpy.random:numpy.random.seed(seed_value),用于生成 NumPy 库中的随机数组。
  • 机器学习库中的随机性控制:比如 PyTorch 中的 torch.manual_seed(seed) 用于控制随机数生成,在模型训练中确保重复性。
  • 深度学习框架中的 GPU 随机性控制:对于使用 GPU 的深度学习框架(如 PyTorch、TensorFlow),通常也会有类似 torch.cuda.manual_seed(seed) 的函数,用于设置 GPU 相关的随机种子,以保证实验结果的一致性。

3.1 random.seed(seed)

这是 Python 标准库中 random 模块的函数。random 模块提供了伪随机数生成器,通过设置种子,你可以控制生成的随机数序列。在这里,random.seed(seed) 将 Python 内置的随机数生成器的种子设置为提供的 seed 值,以确保每次程序运行时都产生相同的随机数序列。这对于调试和可重复的实验是很有用的。

代码实现:

python 复制代码
import random

seed_value = 42  #可以随机设置
random.seed(seed_value)
for i in range(5):
    random_number = random.random()
    print('random_number_{}:{}'.format(i, random_number))

输出结果:

当我修改循环次数为3时,会发现输出结果和循环5次生成的前三次结果相同。

3.2 np.random.seed(seed)

这是 NumPy 库中随机数生成器的设置方法。NumPy 提供了丰富的科学计算功能,其中包括了伪随机数生成器。通过设置 np.random.seed(seed),你确保了在使用 NumPy 的随机函数时生成的随机数序列是可重复的。这对于涉及到数组和矩阵运算的科学计算任务非常重要。

代码实现:

python 复制代码
import numpy as np

seed_value = 42  # 可以随机设置
np.random.seed(seed_value)
for i in range(5):  #第二次修改成6
    numpy_number = np.random.rand(3)  # 生成数组
    print('numpy_number_{}:{}'.format(i, numpy_number))

循环5次和循环6次输出结果如下,通过输出结果可以看出,两次输出的前5个数组内容相等。

3.3 torch.manual_seed(seed)

这是 PyTorch 深度学习框架中的函数,用于设置随机数生成器的种子。深度学习中涉及到许多随机性操作,例如参数初始化和数据划分。通过设置 PyTorch 的种子,你可以确保这些操作在不同运行中产生相同的结果,有助于实验的可重复性和可控性。这个函数是用于CPU上的

代码实现:

python 复制代码
import torch
# 设置CPU上的随机数生成器种子
seed_value = 42
torch.manual_seed(seed_value)
# 生成随机张量
random_tensor_cpu = torch.rand(3)
print("Random Tensor (CPU):", random_tensor_cpu)

输出结果:

在这个例子中,我们使用torch.rand(3)生成一个包含三个随机数的张量,并在之前设置了CPU上的随机数生成器种子。如果你多次运行这段代码,你会发现生成的随机张量在每次运行时都是相同的,这证明了torch.manual_seed(seed)在CPU上的作用。

值得注意的是,当你使用GPU时,如果没有设置GPU上的随机数生成器的种子,即使在CPU上设置了种子,GPU上生成的随机数仍然可能是不同的。因此,如果你在实验中使用了GPU,最好也设置一下GPU上的随机数生成器种子,使用 torch.cuda.manual_seed(seed)。

3.4 torch.cuda.manual_seed(seed)

类似于上述的 torch.manual_seed(seed),但专门用于 CUDA(GPU 加速)环境中。当深度学习任务在 GPU 上执行时,设置 CUDA 的种子可以确保在 GPU 上的随机数生成也是可重复的。

代码实现:

python 复制代码
import torch

seed_value = 42
torch.manual_seed(seed_value)  # 放到cpu中
torch.cuda.manual_seed(seed_value)  # 放到GPU中
if torch.cuda.is_available():
    # 在GPU上生成随机张量
    for i in range(3):
        random_tensor_gpu = torch.rand(3).cuda()
        print("Random Tensor (GPU):", random_tensor_gpu)
else:
    print("CUDA is not available.")

循环3次和循环5次的输出结果如下:

多次运行代码并且每次都得到相同的随机张量,那么你就可以确定torch.cuda.manual_seed(seed)成功设置了GPU上的随机数生成器的种子。这样可以确保在使用GPU进行计算时,实验结果的随机性是可控的,可以得到可重复的结果。

但是需要注意,经过测试,设置GPU种子的时候没有使用torch.manual_seed(seed_value),那么生成的随机数组每次都不一样,所以想要设置GPU上生成随机数每次一样,必须将随机种子同时放到CPU和GPU上。

四、注意事项

  • 全局性: 设置种子是全局性的,一旦设置,会影响整个随机数生成器的行为,包括其他使用该随机数生成器的代码。
  • 不同版本之间的兼容性: 不同版本的库可能会对随机数生成器的实现方式有所不同,因此在不同版本间可能会有微小的差异。
  • 线程安全性: 在多线程环境下,设置种子需要特别小心,以避免竞争条件导致的问题。
    总的来说,seed() 函数是一个控制随机性并确保实验结果可复现性的重要工具,但在使用时需要考虑全局影响和不同库之间的差异。
相关推荐
lcw_lance几秒前
人工智能(AI)的不同维度分类
人工智能·分类·数据挖掘
夏莉莉iy1 分钟前
[MDM 2024]Spatial-Temporal Large Language Model for Traffic Prediction
人工智能·笔记·深度学习·机器学习·语言模型·自然语言处理·transformer
程序员古德11 分钟前
《论软件的可靠性评价》审题技巧 - 系统架构设计师
人工智能·软件可靠性评价·考点概述·审题过程·可靠性模型·应用分析
半导体老登27 分钟前
新能源汽车核心元件揭秘:二极管、三极管结构与工作原理解析(2/2)
人工智能·单片机·嵌入式硬件·汽车
pchmi31 分钟前
CNN常用卷积核
深度学习·神经网络·机器学习·cnn·c#
Orange--Lin42 分钟前
【用deepseek和chatgpt做算法竞赛】——还得DeepSeek来 -Minimum Cost Trees_5
人工智能·算法·chatgpt
范桂飓1 小时前
大规模 RDMA AI 组网技术创新:算法和可编程硬件的深度融合
人工智能
deflag1 小时前
第P10周-Pytorch实现车牌号识别
人工智能·pytorch·yolo
pzx_0011 小时前
【机器学习】K折交叉验证(K-Fold Cross-Validation)
人工智能·深度学习·算法·机器学习
海域云赵从友1 小时前
助力DeepSeek私有化部署服务:让企业AI落地更简单、更安全
人工智能·安全