【PyTorch笔记 05】使用DataLoader类进行数据加载的策略

文章目录

一、声明

  • 本帖持续更新中

二、情形1:同时加载不等长的两个数据

在某些情况下,训练数据的循环中需要同时加载两个数据集,然而加载两个数据集有可能不等长。这就有可能导致训练时出现逻辑问题。例如,小样本学习中需要加载支撑集和查询集,一个示例程序如下所示:

python 复制代码
# 用DataLoader类管理数据
support_loader   = DataLoader(support_dataset , batch_size=args.batch_size, shuffle=True)
query_loader  = DataLoader(query_dataset, batch_size=args.batch_size, shuffle=True)

# 训练循环
for (support_data, support_label, support_indices), (query_data, query_label, query_indices) in zip(support_loader, query_loader):        
        support_data, query_data = support_data.to(device).float(), query_data.to(device).float()
        query_label = query_label.to(device).long()

上述代码中,DataLoader类管理支撑集和查询集,当遇到不等长的情况时,循环会在短的数据处理结束时终止。

相关推荐
Ro Jace几秒前
文献阅读笔记:JAPCC2018年秋冬刊第27期期刊
笔记
cyyt7 分钟前
深度学习周报(9.8~9.14)
人工智能·深度学习
蒋星熠14 分钟前
深度学习实战指南:从神经网络基础到模型优化的完整攻略
人工智能·python·深度学习·神经网络·机器学习·卷积神经网络·transformer
新子y41 分钟前
【小白笔记】符号链接
笔记
星期天要睡觉1 小时前
计算机视觉(opencv)实战二十一——基于 SIFT 和 FLANN 的指纹图像匹配与认证
人工智能·opencv·计算机视觉
victory04311 小时前
wav2vec微调进行疾病语音分类任务
人工智能·分类·数据挖掘
智者知已应修善业1 小时前
【矩阵找最大小所在位置】2022-11-13
c语言·c++·经验分享·笔记·算法·矩阵
semantist@语校1 小时前
第二十篇|SAMU教育学院的教育数据剖析:制度阈值、能力矩阵与升学网络
大数据·数据库·人工智能·百度·语言模型·矩阵·prompt
IT_陈寒1 小时前
React 性能优化必杀技:这5个Hook组合让你的应用提速50%!
前端·人工智能·后端
SccTsAxR2 小时前
[C语言]常见排序算法①
c语言·开发语言·经验分享·笔记·其他·排序算法