PyTorch加载数据集

PyTorch加载数据集主要涉及两个类------Dataset和Dataloader

Dataset类是提供一种方式去获取数据及其对应的真实的label值,Dataset类是需要我们自己写的。

实现的功能:一如何获取每一个数据及其label;二告诉我们总共有多少个数据

Dataloader类是为后面的网络提供不同的数据形式

举个例子:以垃圾分类来举例,其中垃圾就代表我们所要处理的数据。Dataset类的作用是将一堆垃圾进行分类,并在每一类中对垃圾进行0,1,2,......的编号,并获取具体的label值。Dataloader类的作用是将Dataset类编码之后的数据按照一定的大小(比如batch-size)进行打包

相关推荐
AI自动化工坊27 分钟前
Caveman技能实战:优化AI对话风格实现65%的token成本节省
人工智能·深度学习·机器学习·ai·token·caveman
tyler_download36 分钟前
揉扁搓圆transformer架构:KL散度损失函数的说明
人工智能·深度学习·transformer
蔡俊锋1 小时前
AI前沿动态高效追踪指南
人工智能·深度学习·ai·ai学习
前端摸鱼匠1 小时前
【AI大模型春招面试题21】什么是Transformer的“预归一化”与“后归一化”?两者的差异及影响?
人工智能·深度学习·面试·大模型·transformer·求职招聘
披着羊皮不是狼2 小时前
基于CNN的图像检测算法
人工智能·算法·cnn
披着羊皮不是狼2 小时前
深度学习核心架构全解析
人工智能·深度学习
张二娃同学2 小时前
深度学习入门:YOLOv5 与 Fast R-CNN的认识
人工智能·python·深度学习·神经网络·yolo
阿杰学AI2 小时前
AI核心知识119—大语言模型之 监督微调 (简洁且通俗易懂版)
人工智能·深度学习·ai·语言模型·aigc·sft·监督微调
挂科边缘2 小时前
【PASCAL VOC 数据集介绍篇】目标检测与分割常用的数据集:PASCAL VOC 数据集全版本详解与避坑指南
人工智能·目标检测·计算机视觉
AI先驱体验官3 小时前
臻灵:数字人形象驱动新突破,NVIDIA开源PersonaPlex带来的技术变局
大数据·人工智能·深度学习·重构·开源·aigc