数据集相关类代码回顾理解 | DataLoader\datasets.xxx

目录

DataLoader

datasets.xxx


DataLoader

复制代码
train_dl = DataLoader(train_ds, batch_size=32, shuffle=True)

创建训练数据集的加载器,batch_size为32,表示每次迭代时使用的样本数量,shuffle为True,表示每次迭代时都会打乱训练数据集,提高泛化能力。DataLoader是torch.utils.data中用于加载数据的一个类,提供数据分批、数据打乱、多线程加载等功能

训练神经网络时通常会将整个训练数据集分成多个小批次(batches),每个批次包含一定数量的样本。模型会在每个批次上进行一次前向传播和反向传播,以更新模型的参数。较大的batch_size可以提供更准确的梯度估计,但可能会导致训练速度较慢。较小的batch_size可以提高训练速度,但可能会导致梯度估计的准确性降低。

datasets.xxx

复制代码
fashion_train=datasets.FashionMNIST(path2data, train=True, download=True)

从datasets库中导入FashionMNIST数据集,指定加载训练集。torchvision包中FashionMNIST,由60,000个示例的训练集和10,000个示例的测试集组成。每个示例都是28x28灰度图像,与来自10个类别的标签相关联,可以用于多类图像分类。

path2data为已有数据集的路径或未有数据集的下载路径。train=True表示指定加载训练集。如果设置为 False,则加载测试集。download=True表示如果数据集不存在,则自动下载数据集。如果数据集已经存在,则不会下载。

相关推荐
2601_966949655 分钟前
从轮询到策略消费:量化系统如何高效处理五档盘口数据
开发语言·python·数据分析·pandas·量化交易·股票数据·quantdash
萧鼎12 分钟前
2026实战:用 accelerate 库加速 PyTorch 训练,核心语法与避坑指南
python·开源·教程·python库·accelerate
知识分享小能手21 分钟前
深度学习学习教程,从入门到精通,自编码器 — 完整知识点与代码案例(14)
人工智能·深度学习·学习
我命由我1234534 分钟前
人脸识别 - 去重时间窗口
java·开发语言·python·学习·java-ee·学习方法·python3.11
王志来137944730081 小时前
安防监控工控工业服务器配套
运维·服务器·python
投票竞赛1 小时前
作品投票版权注意事项,线上评选上传图片视频须知
python·音视频
2601_962293531 小时前
人工智能 & 神经网络完整入门路线(零基础可走,分阶段)
人工智能·python·深度学习·神经网络·机器学习
纪伊路上盛名在2 小时前
MISATO:基于结构的药物发现的蛋白-配体复合物机器学习数据集
深度学习·机器学习·数据集·分子动力学模拟·蛋白质结构·药物发现·蛋白质-配体互作
“AI国潮设计-小江”2 小时前
【Python/SDXL实战】潮汕国潮IP视觉落地:普宁英歌舞猫IP & 创意甜品设计(附ComfyUI工作流与商业授权说明)
开发语言·人工智能·python·prompt·aigc
529宝宝起名网2 小时前
用 Python 分析汉字字源与起名用字的关联规律:从六书结构到文化寓意的起名偏好洞察
开发语言·python