在pytorch中将数据打包为DataLoader后每个epoch中的打乱策略

在pytorch中将数据打包为DataLoader后每个epoch中的打乱策略

有两种打乱策略:

1、利用shuffle

在 PyTorch 中,当使用 DataLoader 并设置 shuffle=True 时,数据会在每个 epoch 开始时被重新打乱。这意味着在每个 epoch,数据加载的顺序都会不同,这有助于模型避免对特定的数据顺序产生过拟合。

python 复制代码
    train_loader = DataLoader(dataset=train_dataset, 
                              batch_size=batch_size, 
                              shuffle=True, 
                              num_workers=0)

在这种情况下,每次开始一个新的 epoch 并从 train_loader 中迭代数据时,train_loader 会自动将数据集中的数据打乱。这是一种常见的做法,用于确保模型接收到的数据顺序在每个 epoch 都是随机的,从而帮助模型更好地泛化。

如果 shuffle 参数被设置为 False,则数据加载的顺序在每个 epoch 中保持不变。这种情况通常用于那些需要保持数据顺序的场合,比如时间序列数据处理。

2、利用SubsetRandomSampler

在这种方法中,DataLoader 实例是通过使用 SubsetRandomSampler 创建的,这与直接在 DataLoader 中设置 shuffle=True 有所不同。当使用 SubsetRandomSampler 时,数据集的划分是固定的,但是在这个子集内的数据在每个 epoch 开始时会被重新打乱。

python 复制代码
    train_data = torch.FloatTensor(train_data)

    train_data = TensorDataset(train_data, train_data)

    num_train = len(train_data)
    indices = list(range(num_train))
    np.random.shuffle(indices)
    split = int(np.floor(num_train * valid_size))

    train_idx, valid_idx = indices[split:], indices[:split]

    train_sampler = SubsetRandomSampler(train_idx)
    valid_sampler = SubsetRandomSampler(valid_idx)

    train_loader = torch.utils.data.DataLoader(dataset=train_data,
                                               batch_size=batch_size,
                                               sampler=train_sampler,
                                               # shuffle = True,
                                               num_workers=0)

    valid_loader = torch.utils.data.DataLoader(dataset=train_data,
                                               batch_size=batch_size,
                                               sampler=valid_sampler,
                                               # shuffle = True,
                                               num_workers=0)

在这种情况下,train_loader 和 valid_loader 使用 SubsetRandomSampler,它在每个 epoch 开始时会在其所对应的索引子集(train_idx 或 valid_idx)内部重新打乱数据。因此,尽管整个数据集的划分(训练集和验证集的分割)是固定的,但在每个 epoch 中,数据加载的顺序在各自的子集内是随机的。

这种方法结合了固定的训练/验证划分和每个 epoch 的内部随机性,有助于模型的泛化,同时保持了对训练和验证数据集的稳定划分。

相关推荐
im_AMBER3 小时前
学习日志19 python
python·学习
白-胖-子4 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手6 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
mortimer6 小时前
安装NVIDIA Parakeet时,我遇到的两个Pip“小插曲”
python·github
@昵称不存在6 小时前
Flask input 和datalist结合
后端·python·flask
静心问道6 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.07 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
赵英英俊7 小时前
Python day25
python
东林牧之7 小时前
Django+celery异步:拿来即用,可移植性高
后端·python·django
何双新7 小时前
基于Tornado的WebSocket实时聊天系统:从零到一构建与解析
python·websocket·tornado