【PyTorch笔记 05】使用DataLoader类进行数据加载的策略

坚果仙人2024-03-04 3:10

文章目录

一、声明
二、情形1：同时加载不等长的两个数据

一、声明

本帖持续更新中

二、情形1：同时加载不等长的两个数据

在某些情况下，训练数据的循环中需要同时加载两个数据集，然而加载两个数据集有可能不等长。这就有可能导致训练时出现逻辑问题。例如，小样本学习中需要加载支撑集和查询集，一个示例程序如下所示：

python 复制代码

# 用DataLoader类管理数据
support_loader   = DataLoader(support_dataset , batch_size=args.batch_size, shuffle=True)
query_loader  = DataLoader(query_dataset, batch_size=args.batch_size, shuffle=True)

# 训练循环
for (support_data, support_label, support_indices), (query_data, query_label, query_indices) in zip(support_loader, query_loader):        
        support_data, query_data = support_data.to(device).float(), query_data.to(device).float()
        query_label = query_label.to(device).long()

上述代码中，DataLoader类管理支撑集和查询集，当遇到不等长的情况时，循环会在短的数据处理结束时终止。