【pytorch】数据加载dataset和dataloader的使用

1、dataset加载数据集
python 复制代码
dataset_tranform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor(),

])

train_set = torchvision.datasets.CIFAR10(root="./train_dataset",train=True,transform=dataset_tranform,download=True)
test_set = torchvision.datasets.CIFAR10(root="./train_dataset",train=False,transform=dataset_tranform,download=True)

print(test_set[0])

writer = SummaryWriter('p10')

for i in range(10):
    img,target = test_set[i]
    writer.add_image("test_set",img,i)

writer.close()

下载这个CIFAR10这个数据集,通过tensorboard查看一下

2.dataloader从数据集中加载数据
python 复制代码
test_data = torchvision.datasets.CIFAR10(root="./train_dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)

test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=False)

writer = SummaryWriter("dataloader")
step = 0

for data in test_loader:
    imgs ,targets = data
    writer .add_images("test_data",imgs,step)
    step = step + 1

writer.close()

我们从CIFAR10这个数据集中,每次加载64张图片

相关推荐
王琦03185 分钟前
Python 0909
前端·javascript·python
念念010710 分钟前
Flask 博客系统(Flask Blog System)
后端·python·flask
tianyuanwo17 分钟前
pyproject.toml 的历史背景和原理
python·pyproject·setup.py
理智的煎蛋21 分钟前
GPU 服务器压力测试核心工具全解析:gpu-burn、cpu-burn 与 CUDA Samples
运维·服务器·人工智能·压力测试·gpu算力
陈敬雷-充电了么-CEO兼CTO23 分钟前
视频理解新纪元!VideoChat双模架构突破视频对话瓶颈,开启多模态交互智能时代
人工智能·chatgpt·大模型·多模态·世界模型·kimi·deepseek
蒋星熠33 分钟前
中间件架构设计与实践:构建高性能分布式系统的核心基石
开发语言·数据库·分布式·python·中间件·性能优化·硬件工程
simodai38 分钟前
机器学习1.Anaconda安装+环境配置
人工智能·机器学习
IT_陈寒44 分钟前
JavaScript 2024:10个颠覆你认知的ES新特性实战解析
前端·人工智能·后端
ModelWhale1 小时前
AI教育白皮书解读 | 医学教育数智化转型新机遇,“人工智能+”行动实践正当时
人工智能·ai
大模型真好玩1 小时前
大模型工程面试经典(五)—大模型微调与RAG该如何选?
人工智能·面试·deepseek