PyTorch加载数据集

PyTorch加载数据集主要涉及两个类------Dataset和Dataloader

Dataset类是提供一种方式去获取数据及其对应的真实的label值,Dataset类是需要我们自己写的。

实现的功能:一如何获取每一个数据及其label;二告诉我们总共有多少个数据

Dataloader类是为后面的网络提供不同的数据形式

举个例子:以垃圾分类来举例,其中垃圾就代表我们所要处理的数据。Dataset类的作用是将一堆垃圾进行分类,并在每一类中对垃圾进行0,1,2,......的编号,并获取具体的label值。Dataloader类的作用是将Dataset类编码之后的数据按照一定的大小(比如batch-size)进行打包

相关推荐
哈哈你是真的厉害3 分钟前
驾驭万亿参数 MoE:深度剖析 CANN ops-transformer 算子库的“核武库”
人工智能·深度学习·aigc·transformer
心疼你的一切13 分钟前
模态交响:CANN驱动的跨模态AIGC统一架构
数据仓库·深度学习·架构·aigc·cann
小羊不会打字19 分钟前
CANN 生态中的跨框架兼容桥梁:`onnx-adapter` 项目实现无缝模型迁移
c++·深度学习
白日做梦Q29 分钟前
Anchor-free检测器全解析:CenterNet vs FCOS
python·深度学习·神经网络·目标检测·机器学习
饭饭大王66639 分钟前
CANN 生态中的自动化测试利器:`test-automation` 项目保障模型部署可靠性
深度学习
island131441 分钟前
CANN HIXL 通信库深度解析:单边点对点数据传输、异步模型与异构设备间显存直接访问
人工智能·深度学习·神经网络
心疼你的一切1 小时前
解锁CANN仓库核心能力:从零搭建AIGC轻量文本生成实战(附代码+流程图)
数据仓库·深度学习·aigc·流程图·cann
2的n次方_1 小时前
CANN ascend-transformer-boost 深度解析:针对大模型的高性能融合算子库与算力优化机制
人工智能·深度学习·transformer
qq_12498707531 小时前
基于JavaWeb的大学生房屋租赁系统(源码+论文+部署+安装)
java·数据库·人工智能·spring boot·计算机视觉·毕业设计·计算机毕业设计
杜子不疼.1 小时前
CANN计算机视觉算子库ops-cv的图像处理与特征提取优化实践
图像处理·人工智能·计算机视觉