数据集相关类代码回顾理解 | DataLoader\datasets.xxx

目录

DataLoader

datasets.xxx


DataLoader

复制代码
train_dl = DataLoader(train_ds, batch_size=32, shuffle=True)

创建训练数据集的加载器,batch_size为32,表示每次迭代时使用的样本数量,shuffle为True,表示每次迭代时都会打乱训练数据集,提高泛化能力。DataLoader是torch.utils.data中用于加载数据的一个类,提供数据分批、数据打乱、多线程加载等功能

训练神经网络时通常会将整个训练数据集分成多个小批次(batches),每个批次包含一定数量的样本。模型会在每个批次上进行一次前向传播和反向传播,以更新模型的参数。较大的batch_size可以提供更准确的梯度估计,但可能会导致训练速度较慢。较小的batch_size可以提高训练速度,但可能会导致梯度估计的准确性降低。

datasets.xxx

复制代码
fashion_train=datasets.FashionMNIST(path2data, train=True, download=True)

从datasets库中导入FashionMNIST数据集,指定加载训练集。torchvision包中FashionMNIST,由60,000个示例的训练集和10,000个示例的测试集组成。每个示例都是28x28灰度图像,与来自10个类别的标签相关联,可以用于多类图像分类。

path2data为已有数据集的路径或未有数据集的下载路径。train=True表示指定加载训练集。如果设置为 False,则加载测试集。download=True表示如果数据集不存在,则自动下载数据集。如果数据集已经存在,则不会下载。

相关推荐
寻星探路9 小时前
【深度长文】万字攻克网络原理:从 HTTP 报文解构到 HTTPS 终极加密逻辑
java·开发语言·网络·python·http·ai·https
聆风吟º11 小时前
CANN runtime 全链路拆解:AI 异构计算运行时的任务管理与功能适配技术路径
人工智能·深度学习·神经网络·cann
User_芊芊君子11 小时前
CANN大模型推理加速引擎ascend-transformer-boost深度解析:毫秒级响应的Transformer优化方案
人工智能·深度学习·transformer
ValhallaCoder11 小时前
hot100-二叉树I
数据结构·python·算法·二叉树
智驱力人工智能12 小时前
小区高空抛物AI实时预警方案 筑牢社区头顶安全的实践 高空抛物检测 高空抛物监控安装教程 高空抛物误报率优化方案 高空抛物监控案例分享
人工智能·深度学习·opencv·算法·安全·yolo·边缘计算
人工不智能57712 小时前
拆解 BERT:Output 中的 Hidden States 到底藏了什么秘密?
人工智能·深度学习·bert
猫头虎12 小时前
如何排查并解决项目启动时报错Error encountered while processing: java.io.IOException: closed 的问题
java·开发语言·jvm·spring boot·python·开源·maven
h64648564h12 小时前
CANN 性能剖析与调优全指南:从 Profiling 到 Kernel 级优化
人工智能·深度学习
心疼你的一切12 小时前
解密CANN仓库:AIGC的算力底座、关键应用与API实战解析
数据仓库·深度学习·aigc·cann
八零后琐话13 小时前
干货:程序员必备性能分析工具——Arthas火焰图
开发语言·python