DataLoader的使用

官方网站进行查看DataLoader

batch_size 的含义

python 复制代码
import torchvision
from torch.utils.data import DataLoader

# 准备的测试数据集
test_data = torchvision.datasets.CIFAR10('D:\Pytorch\pythonProject\Transform\dataset', train=False, transform=torchvision.transforms.ToTensor())

test_loader = DataLoader(dataset=test_data, batch_size=4, shuffle=False, num_workers=0, drop_last=False)

# 测试数据集中第一张图片及target
img, target = test_data[0]
print(img.shape) # torch.Size([3, 32, 32])
print(target) # 3

for data in test_loader:
    imgs, targets = data
    print(imgs.shape) # torch.Size([4, 3, 32, 32]); 4就是batch_size, 3是通道, 32×32是图片大小
    print(targets) # tensor([3, 8, 8, 0]); 4张图片的target
python 复制代码
import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

# 准备的测试数据集
test_data = torchvision.datasets.CIFAR10('D:\Pytorch\pythonProject\Transform\dataset', train=False, transform=torchvision.transforms.ToTensor())

test_loader = DataLoader(dataset=test_data, batch_size=64, shuffle=True, num_workers=0, drop_last=True)

# 测试数据集中第一张图片及target
img, target = test_data[0]
print(img.shape) # torch.Size([3, 32, 32])
print(target) # 3

writer = SummaryWriter('dataloader')
for epoch in range(2):
    step = 0
    for data in test_loader:
        imgs, targets = data
        # print(imgs.shape) # torch.Size([4, 3, 32, 32]); 4就是batch_size, 3是通道, 32×32是图片大小
        # print(targets) # tensor([3, 8, 8, 0]); 4张图片的target
        writer.add_images('Epoch: {}'.format(epoch), imgs, step)
        step += 1

writer.close()

shuffle=True 的话,会随机成batch

相关推荐
闲人编程5 分钟前
Python协程的演进:从yield到async/await的完整历史
java·前端·python·async·yield·await·codecapsule
睿思达DBA_WGX15 分钟前
使用 Python 的第三方库 xlrd 读取 Excel 文件
python·excel
大佬,救命!!!27 分钟前
python实现五子棋
开发语言·python·个人开发·pygame·少儿编程·五子棋
Elastic 中国社区官方博客29 分钟前
开始使用 Elastic Agent Builder 和 Microsoft Agent Framework
数据库·人工智能·elasticsearch·microsoft·搜索引擎·ai·全文检索
兔兔爱学习兔兔爱学习1 小时前
2.神经网络基础
人工智能·深度学习·神经网络
_codemonster1 小时前
深度学习实战(基于pytroch)系列(三十五)循环神经网络的从零开始实现
人工智能·rnn·深度学习
巫婆理发2221 小时前
卷积神经网络(卷积+池化+全连接)
深度学习·计算机视觉·cnn
【建模先锋】1 小时前
基于多尺度卷积神经网络(MSCNN-1D)的轴承信号故障诊断模型
人工智能·神经网络·cnn·故障诊断·轴承故障诊断·西储大学轴承数据集
海棠AI实验室1 小时前
图书馆版 RAG 系统:从馆藏到知识问答的一条完整链路
人工智能·rag·图书馆ai·知识服务
Coovally AI模型快速验证2 小时前
去噪扩散模型,根本不去噪?何恺明新论文回归「去噪」本质
人工智能·深度学习·算法·机器学习·计算机视觉·数据挖掘·回归