【深度学习】Pytorch 系列教程(二):PyTorch数据结构:1、Tensor(张量): GPU加速(GPU Acceleration)

目录

一、前言

二、实验环境

三、PyTorch数据结构

0、分类

1、张量(Tensor)

[1. 维度(Dimensions)](#1. 维度(Dimensions))

[2. 数据类型(Data Types)](#2. 数据类型(Data Types))

[3. GPU加速(GPU Acceleration)](#3. GPU加速(GPU Acceleration))


一、前言

ChatGPT:

PyTorch是一个开源的机器学习框架,广泛应用于深度学习领域。它提供了丰富的工具和库,用于构建和训练各种类型的神经网络模型。下面是PyTorch的一些详细介绍:

  1. 动态计算图:PyTorch使用动态计算图的方式进行计算,这意味着在运行时可以动态地定义、修改和调整计算图,使得模型的构建和调试更加灵活和直观。

  2. 强大的GPU加速支持:PyTorch充分利用GPU进行计算,可以大幅提升训练和推理的速度。它提供了针对GPU的优化操作和内存管理,使得在GPU上运行模型更加高效。

  3. 自动求导:PyTorch内置了自动求导的功能,可以根据定义的计算图自动计算梯度。这简化了反向传播算法的实现,使得训练神经网络模型更加便捷。

  4. 大量的预训练模型和模型库:PyTorch生态系统中有许多预训练的模型和模型库可供使用,如TorchVision、TorchText和TorchAudio等,可以方便地加载和使用这些模型,加快模型开发的速度。

  5. 高级抽象接口:PyTorch提供了高级抽象接口,如nn.Modulenn.functional,用于快速构建神经网络模型。这些接口封装了常用的神经网络层和函数,简化了模型的定义和训练过程。

  6. 支持分布式训练:PyTorch支持在多个GPU和多台机器上进行分布式训练,可以加速训练过程,处理大规模的数据和模型。

总体而言,PyTorch提供了一个灵活而强大的平台,使得深度学习的研究和开发更加便捷和高效。它的简洁的API和丰富的功能使得用户可以快速实现复杂的神经网络模型,并在各种任务中取得优秀的性能。

二、实验环境

本系列实验使用如下环境

bash 复制代码
conda create -n DL python=3.7 
bash 复制代码
conda activate DL
bash 复制代码
pip install torch==1.8.1+cu102 torchvision==0.9.1+cu102 torchaudio==0.8.1 -f https://download.pytorch.org/whl/torch_stable.html
bash 复制代码
conda install matplotlib

关于配置环境问题,可参考前文的惨痛经历:

Anaconda搭建深度学习环境py 3.7:tensorflow-gpu2.3.0、pytorch1.12.1_gpu版本;(使用conda下载cuda和cudnn);配置环境经验总结_anaconda下载tensorflow_QomolangmaH的博客-CSDN博客https://blog.csdn.net/m0_63834988/article/details/128841527?spm=1001.2014.3001.5502

三、PyTorch数据结构

0、分类

  • Tensor(张量) :Tensor是PyTorch中最基本的数据结构,类似于多维数组。它可以表示标量、向量、矩阵或任意维度的数组。
    • Tensor的操作:PyTorch提供了丰富的操作函数,用于对Tensor进行各种操作,如数学运算、统计计算、张量变形、索引和切片等。这些操作函数能够高效地利用GPU进行并行计算,加速模型训练过程。
  • Variable(变量):Variable是对Tensor的封装,用于自动求导。在PyTorch中,Variable会自动跟踪和记录对其进行的操作,从而构建计算图并支持自动求导。在PyTorch 0.4.0及以后的版本中,Variable被废弃,可以直接使用Tensor来进行自动求导。
  • Dataset(数据集):Dataset是一个抽象类,用于表示数据集。通过继承Dataset类,可以自定义数据集,并实现数据加载、预处理和获取样本等功能。PyTorch还提供了一些内置的数据集类,如MNIST、CIFAR-10等,用于方便地加载常用的数据集。
  • DataLoader(数据加载器):DataLoader用于将Dataset中的数据按批次加载,并提供多线程和多进程的数据预读功能。它可以高效地加载大规模的数据集,并支持数据的随机打乱、并行加载和数据增强等操作。
  • Module(模块):Module是PyTorch中用于构建模型的基类。通过继承Module类,可以定义自己的模型,并实现前向传播和反向传播等方法。Module提供了参数管理、模型保存和加载等功能,方便模型的训练和部署。

1、张量( Tensor**)**

1. 维度(Dimensions)

2. 数据类型(Data Types)

【深度学习】Pytorch 系列教程(一):PyTorch数据结构:1、Tensor(张量):维度(Dimensions)、数据类型(Data Types)_QomolangmaH的博客-CSDN博客https://blog.csdn.net/m0_63834988/article/details/132909219?spm=1001.2014.3001.5501

3. GPU加速(GPU Acceleration)

在PyTorch中,可以使用GPU加速来进行张量计算。GPU(图形处理器)是一种强大的硬件设备,可以并行处理大量数据,加速深度学习任务的执行。

要在GPU上执行张量计算,首先需要确保您的系统具有兼容的GPU并安装了相应的GPU驱动程序和CUDA(Compute Unified Device Architecture)工具包。接下来,您可以使用以下步骤将张量移动到GPU上:

python 复制代码
import torch

# 检查GPU是否可用
if torch.cuda.is_available():
    # 创建一个张量并将其移动到GPU上
    tensor = torch.tensor([1, 2, 3])
    tensor = tensor.to('cuda')
    print(tensor)

    # 进行张量计算
    result = tensor * 2
    print(result)

    # 将张量移回CPU
    result = result.to('cpu')
    print(result)
else:
    print("GPU不可用")

在上述代码中,我们首先使用torch.cuda.is_available()检查GPU是否可用。如果可用,我们创建了一个包含整数值的张量,并使用to('cuda')方法将其移动到GPU上。然后,我们可以在GPU上执行张量计算。最后,我们可以使用to('cpu')将张量移回CPU,以便在CPU上进行后续处理。

请注意,所有涉及张量操作的步骤都需要在同一个设备上执行,否则会引发错误。在执行计算之前,确保将所有张量移动到所需的设备上。

相关推荐
指掀涛澜天下惊1 小时前
强化学习进阶篇八 策略梯度算法
深度学习·学习·算法·强化学习
Mickey Q5 小时前
【深度学习】数值稳定性和模型初始化
人工智能·深度学习
揽秀亭长5 小时前
论文降AI率哪个方法比较实用?4种方式实际对比
人工智能·深度学习
明月_清风6 小时前
从二叉树到 B+ 树:一文搞懂工程中「树」的演化之道
数据结构·算法·go
渡我白衣6 小时前
并查集:基础认识与模拟实现
android·java·javascript·数据结构·c++·算法·并查集
血小板要健康7 小时前
链表 阶段算法总结
java·数据结构·笔记·算法·leetcode·链表
数智工坊7 小时前
NTIRE2024×4图像超分竞赛综述|Mamba崛起、数据缩放、频域增强成为新趋势
网络·人工智能·深度学习·cnn·机器人
盼小辉丶9 小时前
PyTorch强化学习实战——融合人类示范数据的高效强化学习
人工智能·pytorch·python·深度学习·强化学习
DM今天肝到几点?9 小时前
GPT-6 Astra 发布:ARC-AGI-3 从 7.8% 跳到 99.9%,OpenAI 宣告「欢迎进入 AGI 时代」
人工智能·gpt·深度学习·agi
李妍.9 小时前
PyTorch GPU 版安装记录(RTX 5060 + Python 3.14)
人工智能·pytorch·python