数据集相关类代码回顾理解 | DataLoader\datasets.xxx

目录

DataLoader

datasets.xxx


DataLoader

复制代码
train_dl = DataLoader(train_ds, batch_size=32, shuffle=True)

创建训练数据集的加载器,batch_size为32,表示每次迭代时使用的样本数量,shuffle为True,表示每次迭代时都会打乱训练数据集,提高泛化能力。DataLoader是torch.utils.data中用于加载数据的一个类,提供数据分批、数据打乱、多线程加载等功能

训练神经网络时通常会将整个训练数据集分成多个小批次(batches),每个批次包含一定数量的样本。模型会在每个批次上进行一次前向传播和反向传播,以更新模型的参数。较大的batch_size可以提供更准确的梯度估计,但可能会导致训练速度较慢。较小的batch_size可以提高训练速度,但可能会导致梯度估计的准确性降低。

datasets.xxx

复制代码
fashion_train=datasets.FashionMNIST(path2data, train=True, download=True)

从datasets库中导入FashionMNIST数据集,指定加载训练集。torchvision包中FashionMNIST,由60,000个示例的训练集和10,000个示例的测试集组成。每个示例都是28x28灰度图像,与来自10个类别的标签相关联,可以用于多类图像分类。

path2data为已有数据集的路径或未有数据集的下载路径。train=True表示指定加载训练集。如果设置为 False,则加载测试集。download=True表示如果数据集不存在,则自动下载数据集。如果数据集已经存在,则不会下载。

相关推荐
计算机毕设定制辅导-无忧学长38 分钟前
InfluxDB 与 Python 框架结合:Django 应用案例(二)
python·django·sqlite
java1234_小锋1 小时前
[免费]基于Python的招聘职位信息推荐系统(猎聘网数据分析与可视化)(Django+requests库)【论文+源码+SQL脚本】
python·数据分析·django·python招聘系统·django招聘
文火冰糖的硅基工坊1 小时前
[人工智能-综述-17]:AI革命:重塑职业版图,开启文明新篇
人工智能·深度学习·神经网络·架构·信号处理·跨学科融合
CoovallyAIHub1 小时前
数据集分享 | 稻田识别分割数据集、水稻虫害数据集
深度学习·算法·计算机视觉
im_AMBER1 小时前
学习日志23 python
python·学习
生信大杂烩1 小时前
基于成像空间转录组技术的肿瘤亚克隆CNV原位推断方法
python·数据分析
金井PRATHAMA1 小时前
分布内侧内嗅皮层的层Ⅱ或层Ⅲ的网格细胞(grid cells)对NLP中的深层语义分析的积极影响和启示
人工智能·深度学习·神经网络·机器学习·自然语言处理·知识图谱
IT项目分享2 小时前
Python字典完全指南:从基础到实战(2025版)
开发语言·python·it项目网
这里有鱼汤2 小时前
全网最通俗易懂的趋势判断神器:卡尔曼滤波原来这么实用!
后端·python·程序员
盼小辉丶2 小时前
TensorFlow深度学习实战——DeepDream
人工智能·深度学习·tensorflow