【PyTorch笔记 05】使用DataLoader类进行数据加载的策略

文章目录

一、声明

  • 本帖持续更新中

二、情形1:同时加载不等长的两个数据

在某些情况下,训练数据的循环中需要同时加载两个数据集,然而加载两个数据集有可能不等长。这就有可能导致训练时出现逻辑问题。例如,小样本学习中需要加载支撑集和查询集,一个示例程序如下所示:

python 复制代码
# 用DataLoader类管理数据
support_loader   = DataLoader(support_dataset , batch_size=args.batch_size, shuffle=True)
query_loader  = DataLoader(query_dataset, batch_size=args.batch_size, shuffle=True)

# 训练循环
for (support_data, support_label, support_indices), (query_data, query_label, query_indices) in zip(support_loader, query_loader):        
        support_data, query_data = support_data.to(device).float(), query_data.to(device).float()
        query_label = query_label.to(device).long()

上述代码中,DataLoader类管理支撑集和查询集,当遇到不等长的情况时,循环会在短的数据处理结束时终止。

相关推荐
DP+GISer6 分钟前
自己制作遥感深度学习数据集进行遥感深度学习地物分类-试读
人工智能·深度学习·分类
victory04319 分钟前
TODO 分类任务指标计算和展示 准确率 F1 Recall
人工智能·机器学习·分类
rengang669 分钟前
07-逻辑回归:分析用于分类问题的逻辑回归模型及其数学原理
人工智能·算法·机器学习·分类·逻辑回归
居7然23 分钟前
京东开源王炸!JoyAgent-JDGenie如何重新定义智能体开发?
人工智能·开源·大模型·mcp
老兵发新帖27 分钟前
归一化分析3
人工智能
QYR_1138 分钟前
2025-2031年全球 MT 插芯市场全景分析报告:技术演进、供需格局与投资前景
人工智能·自然语言处理·机器翻译
mwq3012339 分钟前
从GPT-1到GPT-2的性能飞跃及其驱动因素分析
人工智能
mwq301231 小时前
GPT-2技术范式解析:无监督多任务学习的概率视角
人工智能
初级炼丹师(爱说实话版)1 小时前
MySql速成笔记5(多表关系)
笔记