Pytorch学习--DataLoader的使用

一、DataLoader简介

DataLoader官网

重要参数:画红框的参数

  • dataset:
    • 作用:表示要加载的数据集。DataLoader通过该参数从数据集中读取数据。
    • 类型:Dataset,即PyTorch定义的Dataset类,用于封装数据并提供数据索引的功能。
  • batch_size:
    • 作用:指定每次加载的数据样本数量(即每个批次的数据量)。默认值为1。
    • 类型:int(可选),默认为1。设置为大于1的值时,可以加速训练,因为数据将被批量处理。
  • shuffle:
    • 作用:是否在每个epoch结束后打乱数据顺序。如果设置为True,数据会在每个epoch重新随机排列。默认值是False,即数据不打乱。
    • 类型:bool(可选),是否打乱数据。
  • sampler:
    • 作用:定义从数据集中提取数据的策略。可以传入一个Sampler类的实例,自定义数据抽样的方式。注意,如果指定了sampler,则不能再使用shuffle。
    • 类型:Sampler或Iterable(可选),用于控制数据抽样。
  • batch_sampler:
    • 作用:与sampler类似,但batch_sampler返回的是一批次的索引,而不是单个样本索引。此参数与batch_size、shuffle和drop_last互斥,不能同时使用。
    • 类型:Sampler或Iterable(可选),专门用于批次索引的抽样。
  • num_workers:
    • 作用:指定用于数据加载的子进程数量。0表示在主进程中进行数据加载。较大的值可以加速数据加载,但需要在进程间共享数据。
    • 类型:int(可选),默认为0。
  • drop_last:
    • 作用:是否丢弃最后一个未满批次的数据。当数据集的大小不能整除batch_size时,最后一个批次的大小可能会小于batch_size。如果将drop_last设为True,则丢弃这个不完整的批次。
    • 类型:bool(可选),默认为False。

二、代码初识

python 复制代码
import torchvision.datasets
from torch.utils.data import DataLoader

train_data=torchvision.datasets.CIFAR10(root="datasets",train=False,transform=torchvision.transforms.ToTensor(),download=True)
train_loader=DataLoader(dataset=train_data,batch_size=4,shuffle=True)

img,target=train_data[0]
print(img.shape)
print(target)

for data in train_loader:
    imgs,targets=data
    print(imgs.shape)
    print(targets)

因为这里采取的是随机抽样

三、使用tensorboard可视化

python 复制代码
import torchvision.datasets
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

train_data=torchvision.datasets.CIFAR10(root="datasets",train=False,transform=torchvision.transforms.ToTensor(),download=True)
#shuffle会在epoch中表现出来
train_loader=DataLoader(dataset=train_data,batch_size=4,shuffle=True)


img,target=train_data[0]
writer=SummaryWriter("logs")

step=0

for epoch in range(2):
    for data in train_loader:
        imgs,targets=data
        #注意:这里是add_images,不是add_image
        writer.add_images("epoch{}".format(epoch),imgs,step)
        step+=1
writer.close()
相关推荐
万粉变现经纪人15 分钟前
如何解决 pip install -r requirements.txt 私有索引未设为 trusted-host 导致拒绝 问题
开发语言·python·scrapy·flask·beautifulsoup·pandas·pip
查士丁尼·绵1 小时前
笔试-九宫格三阶积幻方
python·九宫格·三阶积幻方
云知谷3 小时前
【C++基本功】C++适合做什么,哪些领域适合哪些领域不适合?
c语言·开发语言·c++·人工智能·团队开发
rit84324993 小时前
基于MATLAB实现基于距离的离群点检测算法
人工智能·算法·matlab
l1t4 小时前
DeepSeek辅助利用搬移底层xml实现快速编辑xlsx文件的python程序
xml·开发语言·python·xlsx
大飞记Python4 小时前
部门管理|“编辑部门”功能实现(Django5零基础Web平台)
前端·数据库·python·django
初学小刘4 小时前
深度学习:从图片数据到模型训练(十分类)
人工智能·深度学习
递归不收敛5 小时前
大语言模型(LLM)入门笔记:嵌入向量与位置信息
人工智能·笔记·语言模型
deng-c-f5 小时前
Linux C/C++ 学习日记(28):KCP协议(四):如何实现更复杂的业务:将连接状态的管理进行封装,用户只需实现发送、接收、断开的处理逻辑。
学习·网络编程·kcp
之墨_6 小时前
【大语言模型】—— 自注意力机制及其变体(交叉注意力、因果注意力、多头注意力)的代码实现
人工智能·语言模型·自然语言处理