【PyTorch】PyTorch中数据准备工作(AI生成)

PyTorch深度学习总结

AI第一章 PyTorch中数据准备工作


文章目录

  • PyTorch深度学习总结
  • 前言
  • [一、 数据收集与整理](#一、 数据收集与整理)
  • [二、 数据集类的创建](#二、 数据集类的创建)
  • 三、数据预处理
  • [四、 数据加载器的使用](#四、 数据加载器的使用)
  • [五、 划分训练集、验证集和测试集](#五、 划分训练集、验证集和测试集)

前言

上文介绍torch.nn模块中的全连接层,本文将介绍数据集的准备工作。在 PyTorch 中,数据准备工作是构建和训练深度学习模型的重要基础,以下从多个方面简述相关内容:


一、 数据收集与整理

  • 内容:根据具体的任务需求,收集合适的数据。这些数据需要按照一定的规则进行整理,比如将图像数据按类别分别存放在不同的文件夹中,将文本数据按行分割成样本等。
  • 操作方式 :手动收集数据时,可从公开数据集网站(如 Kaggle、ImageNet 等)下载,或者通过网络爬虫获取数据。整理数据可使用 Python 的 os 模块进行文件操作,使用 pandas 库处理 CSV 文件。

二、 数据集类的创建

  • 内容 :PyTorch 提供了 torch.utils.data.Dataset 抽象类,用户需要自定义一个继承该类的数据集类,并实现 __len____getitem__ 方法。__len__ 方法返回数据集的样本数量,__getitem__ 方法根据索引返回一个样本及其对应的标签。
  • 例子 :对于图像数据集类,__getitem__ 方法可能会读取指定索引的图像文件,对其进行预处理(如调整大小、归一化等),并返回处理后的图像张量和对应的标签。
  • 操作方式:以下是一个简单的图像数据集类示例:
python 复制代码
import torch
from torch.utils.data import Dataset
import os
from PIL import Image

class CustomImageDataset(Dataset):
   def __init__(self, root_dir, transform=None):
       self.root_dir = root_dir
       self.transform = transform
       self.classes = os.listdir(root_dir)
       self.data = []
       for class_name in self.classes:
           class_dir = os.path.join(root_dir, class_name)
           for img_name in os.listdir(class_dir):
               img_path = os.path.join(class_dir, img_name)
               label = self.classes.index(class_name)
               self.data.append((img_path, label))

   def __len__(self):
       return len(self.data)

   def __getitem__(self, idx):
       img_path, label = self.data[idx]
       image = Image.open(img_path).convert('RGB')
       if self.transform:
           image = self.transform(image)
       return image, label

三、数据预处理

  • 内容:对原始数据进行预处理,使其适合模型输入。常见的预处理操作包括图像的缩放、裁剪、归一化,文本的分词、编码等。
  • 例子 :在图像数据预处理中,使用 torchvision.transforms 模块,可将图像调整为固定大小(如 224x224),并进行归一化操作,将像素值缩放到 [0, 1] 或 [-1, 1] 区间。对于文本数据,可使用 torchtext 库进行分词,将每个单词转换为对应的索引。
  • 操作方式:以下是图像预处理的示例代码:
python 复制代码
import torchvision.transforms as transforms

transform = transforms.Compose([
   transforms.Resize((224, 224)),
   transforms.ToTensor(),
   transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
])

四、 数据加载器的使用

  • 内容 :使用 torch.utils.data.DataLoader 类将数据集封装成可迭代的数据加载器。数据加载器可以实现数据的批量加载、打乱顺序、并行加载等功能。
  • 例子:在训练模型时,可将数据集分成多个批次,每个批次包含一定数量的样本(如 32 个),数据加载器会按顺序或随机地将这些批次提供给模型进行训练。
  • 操作方式:结合前面创建的数据集类和预处理操作,创建数据加载器的示例如下:
python 复制代码
from torch.utils.data import DataLoader

# 创建数据集实例
dataset = CustomImageDataset(root_dir='path/to/data', transform=transform)
# 创建数据加载器
dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)

其中,batch_size 表示每个批次的样本数量,shuffleTrue 时表示在每个 epoch 开始时打乱数据顺序,num_workers 表示用于数据加载的子进程数量。


五、 划分训练集、验证集和测试集

  • 内容:为了评估模型的性能,需要将数据集划分为训练集、验证集和测试集。训练集用于模型的训练,验证集用于在训练过程中调整模型的超参数,测试集用于最终评估模型的泛化能力。
  • 例子:通常可按照 70%、15%、15% 的比例划分训练集、验证集和测试集。
  • 操作方式 :可使用 torch.utils.data.random_split 方法进行划分,示例代码如下:
python 复制代码
from torch.utils.data import random_split

train_size = int(0.7 * len(dataset))
val_size = int(0.15 * len(dataset))
test_size = len(dataset) - train_size - val_size

train_dataset, val_dataset, test_dataset = random_split(dataset, [train_size, val_size, test_size])

train_dataloader = DataLoader(train_dataset, batch_size=32, shuffle=True)
val_dataloader = DataLoader(val_dataset, batch_size=32, shuffle=False)
test_dataloader = DataLoader(test_dataset, batch_size=32, shuffle=False)

注意:本文内容由豆包AI生成。

相关推荐
在猴站学算法1 小时前
机器学习(西瓜书) 第二章 模型评估与选择
人工智能·机器学习
科技宅说2 小时前
36氪专访丨乐橙CEO谢运:AI科技下的业务创新与长期主义下的品牌坚守
人工智能·科技
学术小八3 小时前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
nbsaas-boot4 小时前
Java 正则表达式白皮书:语法详解、工程实践与常用表达式库
开发语言·python·mysql
仗剑_走天涯4 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
chao_7894 小时前
二分查找篇——搜索旋转排序数组【LeetCode】两次二分查找
开发语言·数据结构·python·算法·leetcode
cnbestec5 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl5 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji6 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头7 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github