【PyTorch】PyTorch中数据准备工作(AI生成)

PyTorch深度学习总结

AI第一章 PyTorch中数据准备工作


文章目录

  • PyTorch深度学习总结
  • 前言
  • [一、 数据收集与整理](#一、 数据收集与整理)
  • [二、 数据集类的创建](#二、 数据集类的创建)
  • 三、数据预处理
  • [四、 数据加载器的使用](#四、 数据加载器的使用)
  • [五、 划分训练集、验证集和测试集](#五、 划分训练集、验证集和测试集)

前言

上文介绍torch.nn模块中的全连接层,本文将介绍数据集的准备工作。在 PyTorch 中,数据准备工作是构建和训练深度学习模型的重要基础,以下从多个方面简述相关内容:


一、 数据收集与整理

  • 内容:根据具体的任务需求,收集合适的数据。这些数据需要按照一定的规则进行整理,比如将图像数据按类别分别存放在不同的文件夹中,将文本数据按行分割成样本等。
  • 操作方式 :手动收集数据时,可从公开数据集网站(如 Kaggle、ImageNet 等)下载,或者通过网络爬虫获取数据。整理数据可使用 Python 的 os 模块进行文件操作,使用 pandas 库处理 CSV 文件。

二、 数据集类的创建

  • 内容 :PyTorch 提供了 torch.utils.data.Dataset 抽象类,用户需要自定义一个继承该类的数据集类,并实现 __len____getitem__ 方法。__len__ 方法返回数据集的样本数量,__getitem__ 方法根据索引返回一个样本及其对应的标签。
  • 例子 :对于图像数据集类,__getitem__ 方法可能会读取指定索引的图像文件,对其进行预处理(如调整大小、归一化等),并返回处理后的图像张量和对应的标签。
  • 操作方式:以下是一个简单的图像数据集类示例:
python 复制代码
import torch
from torch.utils.data import Dataset
import os
from PIL import Image

class CustomImageDataset(Dataset):
   def __init__(self, root_dir, transform=None):
       self.root_dir = root_dir
       self.transform = transform
       self.classes = os.listdir(root_dir)
       self.data = []
       for class_name in self.classes:
           class_dir = os.path.join(root_dir, class_name)
           for img_name in os.listdir(class_dir):
               img_path = os.path.join(class_dir, img_name)
               label = self.classes.index(class_name)
               self.data.append((img_path, label))

   def __len__(self):
       return len(self.data)

   def __getitem__(self, idx):
       img_path, label = self.data[idx]
       image = Image.open(img_path).convert('RGB')
       if self.transform:
           image = self.transform(image)
       return image, label

三、数据预处理

  • 内容:对原始数据进行预处理,使其适合模型输入。常见的预处理操作包括图像的缩放、裁剪、归一化,文本的分词、编码等。
  • 例子 :在图像数据预处理中,使用 torchvision.transforms 模块,可将图像调整为固定大小(如 224x224),并进行归一化操作,将像素值缩放到 [0, 1] 或 [-1, 1] 区间。对于文本数据,可使用 torchtext 库进行分词,将每个单词转换为对应的索引。
  • 操作方式:以下是图像预处理的示例代码:
python 复制代码
import torchvision.transforms as transforms

transform = transforms.Compose([
   transforms.Resize((224, 224)),
   transforms.ToTensor(),
   transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

四、 数据加载器的使用

  • 内容 :使用 torch.utils.data.DataLoader 类将数据集封装成可迭代的数据加载器。数据加载器可以实现数据的批量加载、打乱顺序、并行加载等功能。
  • 例子:在训练模型时,可将数据集分成多个批次,每个批次包含一定数量的样本(如 32 个),数据加载器会按顺序或随机地将这些批次提供给模型进行训练。
  • 操作方式:结合前面创建的数据集类和预处理操作,创建数据加载器的示例如下:
python 复制代码
from torch.utils.data import DataLoader

# 创建数据集实例
dataset = CustomImageDataset(root_dir='path/to/data', transform=transform)
# 创建数据加载器
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)

其中,batch_size 表示每个批次的样本数量,shuffleTrue 时表示在每个 epoch 开始时打乱数据顺序,num_workers 表示用于数据加载的子进程数量。


五、 划分训练集、验证集和测试集

  • 内容:为了评估模型的性能,需要将数据集划分为训练集、验证集和测试集。训练集用于模型的训练,验证集用于在训练过程中调整模型的超参数,测试集用于最终评估模型的泛化能力。
  • 例子:通常可按照 70%、15%、15% 的比例划分训练集、验证集和测试集。
  • 操作方式 :可使用 torch.utils.data.random_split 方法进行划分,示例代码如下:
python 复制代码
from torch.utils.data import random_split

train_size = int(0.7 * len(dataset))
val_size = int(0.15 * len(dataset))
test_size = len(dataset) - train_size - val_size

train_dataset, val_dataset, test_dataset = random_split(dataset, [train_size, val_size, test_size])

train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)
val_dataloader = DataLoader(val_dataset, batch_size=32, shuffle=False)
test_dataloader = DataLoader(test_dataset, batch_size=32, shuffle=False)

注意:本文内容由豆包AI生成。

相关推荐
简婷187019987753 分钟前
源网荷储 + 零碳园区:一场关于能源与未来的双向奔赴
大数据·人工智能·能源
新智元8 分钟前
Grok 4作战图刷爆全网,80%华人横扫硅谷!清华上交校友领衔,95后站C位
人工智能·openai
小宋0018 分钟前
使用LLaMA-Factory微调Qwen2.5-VL-3B 的目标检测任务-数据集格式转换(voc 转 ShareGPT)
人工智能·目标检测·计算机视觉
小哥谈23 分钟前
论文解析篇 | YOLOv12:以注意力机制为核心的实时目标检测算法
人工智能·深度学习·yolo·目标检测·机器学习·计算机视觉
mit6.82428 分钟前
[Meetily后端框架] AI摘要结构化 | `SummaryResponse`模型 | Pydantic库 | vs marshmallow库
c++·人工智能·后端
screenCui32 分钟前
macOS运行python程序遇libiomp5.dylib库冲突错误解决方案
开发语言·python·macos
阿里云大数据AI技术36 分钟前
Post-Training on PAI (3): 自研高性能强化学习框架PAI-ChatLearn
人工智能·开源·强化学习
二二孚日39 分钟前
自用华为ICT云赛道AI第三章知识点-MindSpore特性、MindSpore开发组件
人工智能·华为
水龙吟啸39 分钟前
从零开始搭建深度学习大厦系列-2.卷积神经网络基础(5-9)
人工智能·pytorch·深度学习·cnn·mxnet
小眼睛羊羊41 分钟前
pyinstaller打包paddleocr
python