【pytorch】数据加载dataset和dataloader的使用

1、dataset加载数据集
python 复制代码
dataset_tranform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor(),

])

train_set = torchvision.datasets.CIFAR10(root="./train_dataset",train=True,transform=dataset_tranform,download=True)
test_set = torchvision.datasets.CIFAR10(root="./train_dataset",train=False,transform=dataset_tranform,download=True)

print(test_set[0])

writer = SummaryWriter('p10')

for i in range(10):
    img,target = test_set[i]
    writer.add_image("test_set",img,i)

writer.close()

下载这个CIFAR10这个数据集,通过tensorboard查看一下

2.dataloader从数据集中加载数据
python 复制代码
test_data = torchvision.datasets.CIFAR10(root="./train_dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)

test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=False)

writer = SummaryWriter("dataloader")
step = 0

for data in test_loader:
    imgs ,targets = data
    writer .add_images("test_data",imgs,step)
    step = step + 1

writer.close()

我们从CIFAR10这个数据集中,每次加载64张图片

相关推荐
特立独行的猫A3 小时前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
对你无可奈何3 小时前
给 ComfyUI 做了一个手机助手
人工智能
feasibility.4 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
智联视频超融合平台5 小时前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网
冬奇Lab6 小时前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
吃我一窝jio6 小时前
Python与Go线程模型深度对比
java·开发语言·python
罗西的思考6 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
zwd20056 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI7 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes7 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython