DAY38 Dataset 类和DataLoader 类

  • Dataset 类

    • __getitem__:实现索引访问(dataset[idx]),用于获取单条数据样本(如图片 + 标签)。
    • __len__:返回数据集的总样本数量,支持 len(dataset)
    • 本质是 Python 的魔法方法,让自定义数据集能像 Python 容器一样被遍历和索引。
  • DataLoader 类

    • 对 Dataset 进行批量加载,支持打乱数据多进程读取自动批处理等功能。
    • 核心参数:batch_size(批次大小)、shuffle(是否打乱)、num_workers(加载进程数)。
    • 作用:高效地为模型训练提供迭代式批量数据。
  • MNIST 手写数据集

    • 经典手写数字图像数据集,包含 0-9 共 10 个类别。
    • 训练集 60000 张,测试集 10000 张,单张图片为 28×28 灰度图。
    • 常用于入门图像分类任务。

🎯 作业:CIFAR 数据集与单张图片获取

1. CIFAR 数据集简介
  • CIFAR-10:包含 10 个类别(飞机、汽车、鸟类、猫、鹿、狗、青蛙、马、船、卡车),训练集 50000 张,测试集 10000 张,单张图片为 32×32 彩色图。
  • CIFAR-100:包含 100 个细分类别,结构与 CIFAR-10 类似,类别更多、难度更大。
2. 代码示例:获取并展示 CIFAR-10 中的一张图片
python 复制代码
import torch
import torchvision.datasets as datasets
import torchvision.transforms as transforms
import matplotlib.pyplot as plt

# 1. 定义数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),  # 转为 Tensor
])

# 2. 加载 CIFAR-10 训练集
train_dataset = datasets.CIFAR10(
    root="./data", train=True, download=True, transform=transform
)

# 3. 获取第 0 张图片与标签
img, label = train_dataset[0]

# 4. 类别名称映射
classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')

# 5. 展示图片
plt.imshow(img.permute(1, 2, 0))  # 将 (C, H, W) 转为 (H, W, C) 以适配 matplotlib
plt.title(f"Label: {classes[label]}")
plt.axis("off")
plt.show()

💡 补充说明

  • permute(1, 2, 0):将 Tensor 的通道维度从 (C, H, W) 调整为 (H, W, C),符合 matplotlib 对图像的输入要求。
  • 若使用 CIFAR-100,只需将 datasets.CIFAR10 替换为 datasets.CIFAR100,并更新类别名称映射即可。
相关推荐
IT_陈寒8 小时前
Java里用Stream.parallel()翻车实录,这性能还不如单线程
前端·人工智能·后端
王国强20098 小时前
OmniDocBench 深度解析:从评测原理到评测开源/闭源 OCR 模型实战
人工智能
小淮AI8 小时前
AI能看财报吗?从18个模型实测到5类工具的使用观察
人工智能
goujunwe8 小时前
GEO 的胜负藏在标签里
人工智能
Young丶9 小时前
讲透 Claude Code 系列 (四):Claude Skills 完全指南:可复用的“专业能力包”从入门到精通
人工智能·ai·ai编程·ai coding
阿里云大数据AI技术9 小时前
Hologres:一站式 Agentic 多模态检索分析平台
人工智能
回眸&啤酒鸭9 小时前
【回眸】AI新鲜事——百度 AI 搜索实战应用场景与落地
人工智能·百度
jsl_jsl_jsl9 小时前
《Agent 的记忆怎么做:实时记忆、被动压缩与主动整理的三层设计》
人工智能
林浩杨_9 小时前
SIGIR 2026|南京大学:Video-GAR:“通过生成 Query 来验证视频语义理解”的生成增强范式
论文阅读·人工智能·算法
speop10 小时前
Hello-Agents | Task00 环境配置
人工智能