PyTorch加载数据集

PyTorch加载数据集主要涉及两个类------Dataset和Dataloader

Dataset类是提供一种方式去获取数据及其对应的真实的label值,Dataset类是需要我们自己写的。

实现的功能:一如何获取每一个数据及其label;二告诉我们总共有多少个数据

Dataloader类是为后面的网络提供不同的数据形式

举个例子:以垃圾分类来举例,其中垃圾就代表我们所要处理的数据。Dataset类的作用是将一堆垃圾进行分类,并在每一类中对垃圾进行0,1,2,......的编号,并获取具体的label值。Dataloader类的作用是将Dataset类编码之后的数据按照一定的大小(比如batch-size)进行打包

相关推荐
AI即插即用1 小时前
即插即用系列 | SliMamba——空谱维度魔术转换,打造高光谱分类的超轻量级 Mamba 架构
人工智能·深度学习·神经网络·目标检测·计算机视觉·数据挖掘
解局易否结局2 小时前
昇腾CANN上手笔记:从cann-learning-hub学会ops-transformer
笔记·深度学习·transformer
hh.h.8 小时前
昇腾CANN ops-transformer 仓的 MC2 算子:MoE 模型的全到全通信
python·深度学习·transformer·cann
5201-8 小时前
ops-conv:卷积算子从 CPU 到昇腾 NPU 的优化之路
人工智能·深度学习
硅谷秋水9 小时前
智体Harness工程:综述(下)
人工智能·深度学习·机器学习·语言模型
h64648564h10 小时前
CANN 昇腾 FP16 vs FP32 精度博弈:深度学习数值精度实战指南
人工智能·深度学习
不会编程的懒洋洋10 小时前
VisionPro 中 几何相交工具 Geometry-Intersection
图像处理·笔记·c#·视觉检测·机器视觉·visionpro
T.i.s11 小时前
parall scan(并行扫描)通俗理解
人工智能·深度学习
h64648564h11 小时前
CANN 昇腾训练食谱全景解读:cann-recipes-train 架构与使用指南
人工智能·深度学习
灰灰勇闯IT12 小时前
DeepSeek-R1 在 CANN 上的推理部署
pytorch·python·深度学习