【PyTorch笔记 05】使用DataLoader类进行数据加载的策略

文章目录

一、声明

  • 本帖持续更新中

二、情形1:同时加载不等长的两个数据

在某些情况下,训练数据的循环中需要同时加载两个数据集,然而加载两个数据集有可能不等长。这就有可能导致训练时出现逻辑问题。例如,小样本学习中需要加载支撑集和查询集,一个示例程序如下所示:

python 复制代码
# 用DataLoader类管理数据
support_loader   = DataLoader(support_dataset , batch_size=args.batch_size, shuffle=True)
query_loader  = DataLoader(query_dataset, batch_size=args.batch_size, shuffle=True)

# 训练循环
for (support_data, support_label, support_indices), (query_data, query_label, query_indices) in zip(support_loader, query_loader):        
        support_data, query_data = support_data.to(device).float(), query_data.to(device).float()
        query_label = query_label.to(device).long()

上述代码中,DataLoader类管理支撑集和查询集,当遇到不等长的情况时,循环会在短的数据处理结束时终止。

相关推荐
AKAMAI2 分钟前
Entity Digital Sports 降低成本并快速扩展
人工智能·云计算
m0_617663625 分钟前
Deeplizard深度学习课程(七)—— 神经网络实验
人工智能·深度学习·神经网络
笑鸿的学习笔记28 分钟前
JavaScript笔记之JS 和 HTML5 的关系
javascript·笔记·html5
笔触狂放31 分钟前
【机器学习】综合实训(一)
人工智能·机器学习
智算菩萨39 分钟前
国内外最新AI语言模型行情分析2025年9月最新内容
人工智能
ningmengjing_42 分钟前
激活函数:神经网络的“灵魂开关”
人工智能·深度学习·神经网络
Billy_Zuo1 小时前
人工智能机器学习——逻辑回归
人工智能·机器学习·逻辑回归
东风西巷2 小时前
Balabolka:免费高效的文字转语音软件
前端·人工智能·学习·语音识别·软件需求
非门由也2 小时前
《sklearn机器学习——管道和复合估计器》联合特征(FeatureUnion)
人工智能·机器学习·sklearn
l12345sy2 小时前
Day21_【机器学习—决策树(1)—信息增益、信息增益率、基尼系数】
人工智能·决策树·机器学习·信息增益·信息增益率·基尼指数