【Pytorch】5.DataLoder的使用

什么是DataLoader

个人理解是,如果Dataset的所有数据相当于一副扑克牌,DataLoader就相当于从扑克牌中抽取几张,我们可以规定一次抽取的张数,或者以什么规则进行抽取

DataLoader的使用

查阅官网的文档,主要有这几个参数比较常用

其中dataset可以用上一篇文章来进行创建

具体的实现方法为

py 复制代码
import torchvision
from torch.utils.data import DataLoader

test_dataset = torchvision.datasets.CIFAR10(root='./dataset', train=False, transform=torchvision.transforms.ToTensor(), download=True)
# 这里采用测试集是因为测试集较小,运行较快

test_dataLoader = DataLoader(test_dataset, batch_size=64, shuffle=False, num_workers=0, drop_last=True)


for data in test_dataLoader:            #从test_dataLoader中取出data
    imgs, labels = data
    print(labels)

然后我们可以加入tensorBoard可视化处理

py 复制代码
import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

test_dataset = torchvision.datasets.CIFAR10(root='./dataset', train=False, transform=torchvision.transforms.ToTensor(),
                                            download=True)
# 这里采用测试集是因为测试集较小,运行较快

test_dataLoader = DataLoader(test_dataset, batch_size=64, shuffle=False, num_workers=0, drop_last=False)

writer = SummaryWriter(log_dir='./logs')
i = 0
for data in test_dataLoader:  # 从test_dataLoader中取出data
    imgs, labels = data
    print(imgs.shape)
    writer.add_images('test_loader1', imgs, i)       # 注意这是add_images
    i = i + 1

writer.close()

注意这里的writer.add_images()需要加s否则不能运行

相关推荐
MidJourney中文版15 分钟前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
William.csj26 分钟前
Pytorch/CUDA——flash-attn 库编译的 gcc 版本问题
pytorch·cuda
王上上41 分钟前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案1 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer1 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享1 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
巴里巴气1 小时前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
19891 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
JavaEdge在掘金1 小时前
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
python
ansurfen1 小时前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm