pytorch深度学习训练随机种子设置

为了确保训练的模型能够复现,这里记录一下随机种子的设置,以便直接使用。

随机种子就像你玩游戏时的 "存档点",只要你加载同一个存档(设置同一个种子),后续的游戏进程(生成的随机数)就会完全一样;换个存档(换种子),进程就会不同。

与pytorch训练深度模型相关的随机种子主要在numpy,torch,random库上。下面直接上代码:

python 复制代码
import random
import numpy as np
import os
import torch

def set_pytorch_seeds(seed=42, strict_reproducibility=False):
    """
    设置PyTorch深度学习训练所需的所有随机种子,保证实验可复现
    
    Args:
        seed: 随机种子值,推荐使用固定整数(如42、123)
    """
    # Python基础随机种子
    random.seed(seed)
    # NumPy随机种子
    np.random.seed(seed)
    # 禁用Python哈希随机化
    os.environ['PYTHONHASHSEED'] = str(seed)
    
    # PyTorch核心种子
    torch.manual_seed(seed)
    # GPU相关种子(单/多GPU)
    if torch.cuda.is_available():
        torch.cuda.manual_seed(seed)
        torch.cuda.manual_seed_all(seed)
        # 强制cudnn使用确定性算法
        torch.backends.cudnn.deterministic = True
        torch.backends.cudnn.benchmark = False
			 # 仅在严格复现时启用以下配置
        if strict_reproducibility:
            # 禁用TF32(Ampere GPU生效)
            torch.backends.cuda.matmul.allow_tf32 = False
            torch.backends.cudnn.allow_tf32 = False
            # 配置CUBLAS + 确定性算法
            os.environ['CUBLAS_WORKSPACE_CONFIG'] = ':4096:8'
            torch.use_deterministic_algorithms(True)

# DataLoader种子配置(PyTorch多进程必备)
def get_pytorch_dataloader_config(seed: int = 42):
    """获取PyTorch DataLoader的种子配置,解决多进程随机性问题"""
    def seed_worker(worker_id):
        worker_seed = torch.initial_seed() % 2**32
        np.random.seed(worker_seed)
        random.seed(worker_seed)
    
    generator = torch.Generator()
    generator.manual_seed(seed)
    return seed_worker, generator
  • 核心函数set_pytorch_seeds仅保留 PyTorch 框架所需的所有关键种子配置,覆盖 CPU/GPU 场景,保证可复现性。
  • 辅助函数get_pytorch_dataloader_config专门解决 PyTorch DataLoader 多进程的随机性问题,是完整复现的必要补充。
相关推荐
蓑雨春归2 小时前
2025 AI Coding实践总结 - AI Coding工具真的好用吗?
人工智能·ai编程
IT·小灰灰2 小时前
大模型API成本优化实战指南:Token管理的艺术与科学
人工智能·python·数据分析
Mintopia2 小时前
⚙️ AI冲击下的职场新物种:超级个体
人工智能·llm·aigc
HaiLang_IT2 小时前
基于卷积神经网络的棉花品种智能识别系统研究
人工智能·神经网络·cnn
云说智树2 小时前
AI Agent重构制造业:从技术概念到车间实景的落地革命
人工智能·重构
KG_LLM图谱增强大模型2 小时前
OntoMetric:破解ESG报告难题的“大模型+本体知识图谱”新范式,准确率提升10倍
人工智能·大模型·知识图谱
90后小陈老师2 小时前
自律APP开发规划测评,个人感觉chatGPT最佳Claude其次
人工智能·chatgpt·ai编程
可触的未来,发芽的智生2 小时前
2025年终总结:智能涌现的思考→放弃冯诺依曼架构范式,拥抱“约束产生智能”
javascript·人工智能·python·神经网络·程序人生
todoitbo2 小时前
【TextIn大模型加速器 + 火山引擎】基于 Dify 构建企业智能文档中枢:技术文档问答+合同智审+发票核验一站式解决方案
人工智能·ocr·火山引擎·工作流·dify·textln·企业智能文档