数据集相关类代码回顾理解 | DataLoader\datasets.xxx

目录

DataLoader

datasets.xxx


DataLoader

复制代码
train_dl = DataLoader(train_ds, batch_size=32, shuffle=True)

创建训练数据集的加载器,batch_size为32,表示每次迭代时使用的样本数量,shuffle为True,表示每次迭代时都会打乱训练数据集,提高泛化能力。DataLoader是torch.utils.data中用于加载数据的一个类,提供数据分批、数据打乱、多线程加载等功能

训练神经网络时通常会将整个训练数据集分成多个小批次(batches),每个批次包含一定数量的样本。模型会在每个批次上进行一次前向传播和反向传播,以更新模型的参数。较大的batch_size可以提供更准确的梯度估计,但可能会导致训练速度较慢。较小的batch_size可以提高训练速度,但可能会导致梯度估计的准确性降低。

datasets.xxx

复制代码
fashion_train=datasets.FashionMNIST(path2data, train=True, download=True)

从datasets库中导入FashionMNIST数据集,指定加载训练集。torchvision包中FashionMNIST,由60,000个示例的训练集和10,000个示例的测试集组成。每个示例都是28x28灰度图像,与来自10个类别的标签相关联,可以用于多类图像分类。

path2data为已有数据集的路径或未有数据集的下载路径。train=True表示指定加载训练集。如果设置为 False,则加载测试集。download=True表示如果数据集不存在,则自动下载数据集。如果数据集已经存在,则不会下载。

相关推荐
哥本哈士奇(aspnetx)14 小时前
Streamlit + LangChain 1.0 简单实现智能问答前后端
python·大模型
我一定会有钱14 小时前
斐波纳契数列、end关键字
python
小鸡吃米…15 小时前
Python 列表
开发语言·python
Dekesas969516 小时前
【深度学习】基于Faster R-CNN的黄瓜幼苗智能识别与定位系统,农业AI新突破
人工智能·深度学习·r语言
星依网络16 小时前
yolov5实现游戏图像识别与后续辅助功能
python·开源·游戏程序·骨骼绑定
大佐不会说日语~16 小时前
Spring AI Alibaba 的 ChatClient 工具注册与 Function Calling 实践
人工智能·spring boot·python·spring·封装·spring ai
2501_9216494916 小时前
如何获取美股实时行情:Python 量化交易指南
开发语言·后端·python·websocket·金融
qq_4480111617 小时前
python HTTP请求同时返回为JSON的异常处理
python·http·json
棒棒的皮皮17 小时前
【OpenCV】Python图像处理几何变换之翻转
图像处理·python·opencv·计算机视觉
CodeCraft Studio17 小时前
国产化PPT处理控件Spire.Presentation教程:使用Python将图片批量转换为PPT
python·opencv·powerpoint·ppt文档开发·ppt组件库·ppt api