2024/9/16 dataloader、tensorboard、transform

一、pytorch两大法宝元素

假设有一个名为pytorch的包

dir():用于打开包,看里面的内容

help():用于查看具体的内容的用处

二、python文件,python控制台和jupyter的使用对比

三、pytorch读取数据

pytorch读取数据主要涉及到两个类:

使用Dataset类读取数据

从pytorch包中引入Dataset类,写一个子类对Dataset进行继承,重写其中方法达到目的

一般会设置数据路径问题,需import os

四、Tensorboard的使用

TensorBoard 是 TensorFlow提供的一组可视化工具

安装tensorboard

复制代码
1.SummaryWriter类的使用

1.1 add_scalar()方法

复制代码
def add_scalar(
    self,
    tag,  # 图像名
    scalar_value,  # y轴
    global_step=None, #  x轴
    walltime=None,
    new_style=False,
    double_precision=False,
):

运行后,出现logs文件夹:

查看该文件:

在终端输入tensorboard --logdir=logs或者tensorboard --logdir PATH

默认生成文件通过6006端口打开,可指定端口打开:tensorboard --logdir=logs --port=6007

点击链接:

注:有时生成文件多了之后,图像出现在一起可能会出现拟合现象,就将所有事件删除后重新生成

1.2 add_image()方法

复制代码
def add_image(
    self, tag, img_tensor, global_step=None, walltime=None, dataformats="CHW"
):

tag:标题

img_tensor:图片,此处图片只能是torch.tensor,numpy.array或string 不是这些,要转换成这些

global_step:表明是第几张图片

dataformats:图片的通道,高,宽顺序,默认CHW 可自行指定

五、Transform的使用

通过 from torchvision import transforms 引入transforms模块

torchvision是图像处理库,计算机视觉工具包,transforms 集成了随机翻转、旋转、增强对比度、转化为tensor、转化为图像等功能,用于数据增强。(transforms更多的指的是transforms.py文件,其中包含很多类)。

NumPy是一个功能强大的Python库,主要用于对多维数组执行计算,它极大地简化了向量和矩阵的操作处理。

Tensor,即"张量"。实际上跟numpy数组、向量、矩阵的格式基本一样。但是是专门针对GPU来设计的,可以运行在GPU上来加快计算效率。

在PyTorch中,张量Tensor是最基础的运算单位,与NumPy中的NDArray类似,张量表示的是一个多维矩阵。不同的是,PyTorch中的Tensor可以运行在GPU上,而NumPy的NDArray只能运行在CPU上。由于Tensor能在GPU上运行,因此大大加快了运算速度。

在使用 transforms.ToTensor() 进行图片数据转换过程中会对图像的像素值进行正则化,即一般读取的图片像素值都是8 bit 的二进制,那么它的十进制的范围为 [0, 255],而正则化会对每个像素值除以255,也就是把像素值正则化成 [0.0, 1.0]的范围

详见https://www.cnblogs.com/yq-ydky/p/17617289.html

1.使用ToTensor类将图片数据转化为Tensor类型

2.为什么要使用tensor这一数据类型

tensor这一数据类型包含了很多在神经网络中需要用到内容,比如后向,梯度

对于搭建神经网络更为方便

3.将PIL数据转化为Tensor,利用Tensorboard进行显示

4.常用的transform类

Resize只改变图像大小,不改变其数据类型

compose对象是各种类对象的合成体,要注意的列表中的对象要具有相关性,前一对象的输出是后一个对象的输入

5.transform与数据集的结合使用

torchvision中可以找到一些常用数据集,常用模型:

torchvision --- Torchvision 0.19 documentation

torchvision.datasets中包含许多数据集,可直接设置参数使用命令下载

例子:CIFAR10

CIFAR10 --- Torchvision 0.19 documentation

(1)下载数据:

数据集中的每一个数据都是一个由图片和对应的类别标签索引组成的元组

(2)原始图片为PIL类型,添加一些transform操作:

(3)利用tensorboard对图像进行显示

六、dataloader介绍

参考:torch.utils.data --- PyTorch 2.4 documentation

使用dataset获取数据集时,返回的数据集中每一个数据都是一个由图片和标签组成的元组

CIFAR10中的图片维度(3,32,32)

dataloader负责按照想要的方式从数据集中得到数据

(1)将batch设置为4,每页4个,分多页

(2)将batch设置为64,每页64个,分多页,epoch表示遍历完一遍数据

注:指定了数据集会读取该数据集所有数据,batch只是将数据分批次

format()的使用:

Python字符串格式化之使用format()方法_python_脚本之家

相关推荐
程序员阿龙2 分钟前
【精选】计算机毕业设计Python Flask海口天气数据分析可视化系统 气象数据采集处理 天气趋势图表展示 数据可视化平台源码+论文+PPT+讲解
python·flask·课程设计·数据可视化系统·天气数据分析·海口气象数据·pandas 数据处理
红衣小蛇妖8 分钟前
神经网络-Day44
人工智能·深度学习·神经网络
ZHOU_WUYI8 分钟前
Flask与Celery 项目应用(shared_task使用)
后端·python·flask
忠于明白8 分钟前
Spring AI 核心工作流
人工智能·spring·大模型应用开发·spring ai·ai 应用商业化
且慢.58927 分钟前
Python_day47
python·深度学习·计算机视觉
佩奇的技术笔记34 分钟前
Python入门手册:异常处理
python
大写-凌祁43 分钟前
论文阅读:HySCDG生成式数据处理流程
论文阅读·人工智能·笔记·python·机器学习
柯南二号1 小时前
深入理解 Agent 与 LLM 的区别:从智能体到语言模型
人工智能·机器学习·llm·agent
珂朵莉MM1 小时前
2021 RoboCom 世界机器人开发者大赛-高职组(初赛)解题报告 | 珂学家
java·开发语言·人工智能·算法·职场和发展·机器人
爱喝喜茶爱吃烤冷面的小黑黑1 小时前
小黑一层层削苹果皮式大模型应用探索:langchain中智能体思考和执行工具的demo
python·langchain·代理模式