PyTorch加载数据集

PyTorch加载数据集主要涉及两个类------Dataset和Dataloader

Dataset类是提供一种方式去获取数据及其对应的真实的label值,Dataset类是需要我们自己写的。

实现的功能:一如何获取每一个数据及其label;二告诉我们总共有多少个数据

Dataloader类是为后面的网络提供不同的数据形式

举个例子:以垃圾分类来举例,其中垃圾就代表我们所要处理的数据。Dataset类的作用是将一堆垃圾进行分类,并在每一类中对垃圾进行0,1,2,......的编号,并获取具体的label值。Dataloader类的作用是将Dataset类编码之后的数据按照一定的大小(比如batch-size)进行打包

相关推荐
瑶总迷弟7 小时前
使用 mis-tei 在昇腾310P上部署 bge-m3模型
pytorch·python·华为·语言模型·自然语言处理·cnn·unix
冰西瓜6009 小时前
深度学习的数学原理(四十一)—— KV Cache
人工智能·深度学习
测试_AI_一辰10 小时前
AI模型评测不只看准确率-CV与Agent评测指标体系梳理
人工智能·机器学习·计算机视觉
weixin_4684668511 小时前
图像处理特征提取新手实战指南
图像处理·人工智能·算法·ai·机器视觉·特征提取
weixin_4684668511 小时前
图像处理之形态学处理新手实战指南
图像处理·人工智能·算法·ai·机器视觉·形态学
冰西瓜60012 小时前
深度学习的数学原理(四十)—— Transformer 推理全过程
人工智能·深度学习·transformer
weixin_4684668512 小时前
SURF 图像特征提取算法新手实战指南
图像处理·人工智能·算法·机器视觉·surf·sift
jiayong2312 小时前
AI架构师面试问题与解答 - 深度学习架构篇
人工智能·深度学习
是馒头阿12 小时前
95、仇恨与爱
深度学习·神经网络·脑机接口·神经同步采集与刺激平台·植入式脑机接口