12. DataLoader的基本使用

DataLoader的基本使用

1. 为什么要使用DataLoader

  • DataLoader对创建好的DataSet的样本取样进行了集成操作,非常方便对于后续网络训练、测试的数据集的选择和使用

  • DataLoader可以集成了数据批量加载的方法,可以使用 batch_size 设置批量大小,DataLoader就会自动处理批量数据的加载,下面给出批量处理的作用

    • 内存管理:对于需要处理的大量数据,直接投入模型训练是不现实的,小批次处理可以解决这个问题
    • 梯度估计的稳定性:小批次梯度估计能够获得更稳定的梯度更新,比整个数据集计算的梯度更快、比单个样本计算的梯度更可靠
    • 模型参数更新:小批次运行模型每处理完一个批次就进行参数更新,可以加快模型的训练过程,前期阶段就可以更快地学习到有用特征,减少迭代次数
    • 调优更方便:可以灵活调整批次大小,找到适合的训练配置。
    • 可以通过不断保存每批次训练后的模型结果,避免代码考虑不周带来的后续模型无法训练的问题
  • DataLoader集成了自动化打乱数据的逻辑代码。确保每个epoch都有不同的数据顺序,shuffle=True

  • DataLoader处理的DataSet数据,要符合第一章中创建的Dataset类的标准,需要对部分魔法函数进行重写。

    python 复制代码
    class Mydata(Dataset):
        def __init__(self, ):
        
        def __getitem__(self, index):
            return img, label
        def __len__(self):
            return len(xxx)

2. 使用DataLoader

  • 首先加载torchvision的CIFAR10数据集,并将图片数据转换为Tensor

    python 复制代码
    import torchvision
    test_data = torchvision.datasets.CIFAR10(root='./data_torchvision', 
                                             train=False,
                                             transform=torchvision.transforms.ToTensor(),
                                             download=True)
    • 查看CIFAR10的父类,可以发现该数据集是一个Dataset子类的子类
  • 创建Dataloader实例

    python 复制代码
    from torch.utils.data import DataLoader
    
    test_loader = DataLoader(dataset = test_data,
                             batch_size=64,
                             shuffle=True,
                             drop_last=True)
    • dataset:导入基于Dataset类的数据集
    • bact_size:设置数据集中每一次划分图像的数目
    • shuffle:是否打乱样本
    • drop_last:是否舍弃剩余不够分配batc_size的样本
      • 比如test_data共有100个照片,batch_size设置为11,则创建的Dataloader实例包含9组每组11张照片
      • 对于剩余的一张照片,drop_last=True时直接舍弃,否则单独保留为一组仅包含一张照片

3. DataLoader实例的使用说明

  • 数据集说明:test_data共有10000个数据,当batch_size=64 && drop_last=True时,test_loader共包含156个组

  • 通过迭代遍历 test_loader, 每次遍历得到其中一组数据,每组数据的组织方式为images和labels:一组中的所有图片组织为一个Tensor数据,依据图片顺序将标签组织为一个Tensor数据

    • 上述输出中,每一个data是test_loader的一个组,一个组包含64个图片
    • imgs是64个图片组织成的Tensor数据
    • labels是64个图片对应的类别标签
  • imgs可以在TensorBoard中进行展示

    python 复制代码
    from torch.utils.tensorboard import SummaryWriter
    
    writer = SummaryWriter('./logs')
    i = 0
    for data in test_loader:
        imgs, labels = data
        writer.add_images(tag = "imgs",
                          img_tensor=imgs,
                          global_step=i)
        i+=1
    writer.close()
    • add_images:可以一次性添加由多个image组成的Tensor数据,将结果展示如下,共计step有156个,每个step包含64张照片

相关推荐
子燕若水4 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室5 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿5 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫5 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
伍哥的传说5 小时前
React 各颜色转换方法、颜色值换算工具HEX、RGB/RGBA、HSL/HSLA、HSV、CMYK
深度学习·神经网络·react.js
大千AI助手5 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记6 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元6 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术6 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端