【深度学习】Pytorch 系列教程(三):PyTorch数据结构:2、张量的数学运算(1):向量运算(加减乘除、数乘、内积、外积、范数、广播机制)

文章目录

一、前言

本文将介绍PyTorch中张量的数学运算之向量运算,包括加减乘除、数乘、内积、外积、范数、广播机制等

二、实验环境

本系列实验使用如下环境

bash 复制代码
conda create -n DL python==3.11
bash 复制代码
conda activate DL
bash 复制代码
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

三、PyTorch数据结构

0、分类

  • Tensor(张量):Tensor是PyTorch中最基本的数据结构,类似于多维数组。它可以表示标量、向量、矩阵或任意维度的数组。
  • Tensor的操作:PyTorch提供了丰富的操作函数,用于对Tensor进行各种操作,如数学运算、统计计算、张量变形、索引和切片等。这些操作函数能够高效地利用GPU进行并行计算,加速模型训练过程。
  • Variable(变量) :Variable是对Tensor的封装,用于自动求导。在PyTorch中,Variable会自动跟踪和记录对其进行的操作,从而构建计算图并支持自动求导。在PyTorch 0.4.0及以后的版本中,Variable被废弃,可以直接使用Tensor来进行自动求导。
  • Dataset(数据集):Dataset是一个抽象类,用于表示数据集。通过继承Dataset类,可以自定义数据集,并实现数据加载、预处理和获取样本等功能。PyTorch还提供了一些内置的数据集类,如MNIST、CIFAR-10等,用于方便地加载常用的数据集。
  • DataLoader(数据加载器):DataLoader用于将Dataset中的数据按批次加载,并提供多线程和多进程的数据预读功能。它可以高效地加载大规模的数据集,并支持数据的随机打乱、并行加载和数据增强等操作。
  • Module(模块):Module是PyTorch中用于构建模型的基类。通过继承Module类,可以定义自己的模型,并实现前向传播和反向传播等方法。Module提供了参数管理、模型保存和加载等功能,方便模型的训练和部署。

1、Tensor(张量)

Tensor(张量)是PyTorch中用于表示多维数据的主要数据结构,类似于多维数组,可以存储和操作数字数据。

1. 维度(Dimensions)

Tensor(张量)的维度(Dimensions)是指张量的轴数或阶数。在PyTorch中,可以使用size()方法获取张量的维度信息,使用dim()方法获取张量的轴数。

2. 数据类型(Data Types)

PyTorch中的张量可以具有不同的数据类型:

  • torch.float32或torch.float:32位浮点数张量。
  • torch.float64或torch.double:64位浮点数张量。
  • torch.float16或torch.half:16位浮点数张量。
  • torch.int8:8位整数张量。
  • torch.int16或torch.short:16位整数张量。
  • torch.int32或torch.int:32位整数张量。
  • torch.int64或torch.long:64位整数张量。
  • torch.bool:布尔张量,存储True或False。

【深度学习】Pytorch 系列教程(一):PyTorch数据结构:1、Tensor(张量)及其维度(Dimensions)、数据类型(Data Types)

3. GPU加速(GPU Acceleration)

【深度学习】Pytorch 系列教程(二):PyTorch数据结构:1、Tensor(张量): GPU加速(GPU Acceleration)

2、张量的数学运算

PyTorch提供了丰富的操作函数,用于对Tensor进行各种操作,如数学运算、统计计算、张量变形、索引和切片等。这些操作函数能够高效地利用GPU进行并行计算,加速模型训练过程。

1. 向量运算

a. 简单运算
python 复制代码
import torch


tensor1 = torch.tensor([1, 2, 3])
tensor2 = torch.tensor([4, 5, 6])
python 复制代码
# 加法
result_add = tensor1 + tensor2
print("加法结果:", result_add)  
  • 输出: tensor([5, 7, 9])
python 复制代码
# 减法
result_sub = tensor1 - tensor2
print("减法结果:", result_sub) 
  • 输出: tensor([-3, -3, -3])
python 复制代码
# 乘法
result_mul = tensor1 * tensor2
print("乘法结果:", result_mul)  
  • 输出: tensor([4, 10, 18])
python 复制代码
# 除法
result_div = tensor1 / tensor2
print("除法结果:", result_div) 
  • 输出: tensor([0.2500, 0.4000, 0.5000])
python 复制代码
scalar_multiplication_result = 2 * tensor1
print("数乘结果:", scalar_multiplication_result)
  • 数乘结果: tensor([2, 4, 6])
b. 广播操作

可以对不同维度的向量进行运算,利用广播机制进行自动扩展和对齐。

python 复制代码
# 广播操作
broadcasted = tensor1 + 1
print("广播结果:", broadcasted)
Broadcasted result: tensor([2, 3, 4])
  • 广播结果: tensor([2, 3, 4])
c. 运算函数
加法add
python 复制代码
import torch
 
vector1 = torch.tensor([1, 2, 3])
vector2 = torch.tensor([4, 5, 6])
 
# 向量相加
result = torch.add(vector1, vector2)

print(result)
  • 输出: tensor([5, 7, 9])
乘法mul
python 复制代码
import torch
 
vector1 = torch.tensor([1, 2, 3])
vector2 = torch.tensor([4, 5, 6])
 
# 向量相乘
result = torch.mul(vector1, vector2)
 
print(result)
  • 输出: tensor([4, 10, 18])
内积(点积)dot
python 复制代码
import torch
 
vector1 = torch.tensor([1, 2, 3])
vector2 = torch.tensor([4, 5, 6])
 
# 计算内积
result = torch.dot(vector1, vector2)
 
print(result)
  • 输出: tensor(32)
    32 = 1 ∗ 4 + 2 ∗ 5 + 3 ∗ 6 32 = 1*4 +2 * 5+3*6 32=1∗4+2∗5+3∗6
外积(叉积)cross

叉积是两个三维向量的向量积,结果是一个新的向量,垂直于原始向量所在平面。

python 复制代码
import torch
 
vector1 = torch.tensor([1, 0, 0])
vector2 = torch.tensor([0, 1, 0])
 
# 计算叉积
cross_product = torch.cross(vector1, vector2)
 
print(cross_product)
范数norm

范数是衡量向量大小的指标,norm默认计算L2范数。

python 复制代码
import torch
 
vector = torch.tensor([1, 2, 3, 4, 5], dtype=torch.float)
 
# 计算范数
norm = torch.norm(vector)

print(norm)
  • 输出: tensor(7.4162)
    7.4162 = 1 2 + 2 2 + 3 2 + 4 2 + 5 2 7.4162=\sqrt{1^2+2^2+3^2+4^2+5^2} 7.4162=12+22+32+42+52

注意数据类型转换

bash 复制代码
RuntimeError: linalg.vector_norm: Expected a floating point or complex tensor as input. Got Long

对比:

相关推荐
Lenyiin28 分钟前
02.06、回文链表
数据结构·leetcode·链表
爪哇学长31 分钟前
双指针算法详解:原理、应用场景及代码示例
java·数据结构·算法
爱摸鱼的孔乙己33 分钟前
【数据结构】链表(leetcode)
c语言·数据结构·c++·链表·csdn
GOTXX39 分钟前
基于Opencv的图像处理软件
图像处理·人工智能·深度学习·opencv·卷积神经网络
烦躁的大鼻嘎1 小时前
模拟算法实例讲解:从理论到实践的编程之旅
数据结构·c++·算法·leetcode
C++忠实粉丝1 小时前
计算机网络socket编程(4)_TCP socket API 详解
网络·数据结构·c++·网络协议·tcp/ip·计算机网络·算法
糖豆豆今天也要努力鸭2 小时前
torch.__version__的torch版本和conda list的torch版本不一致
linux·pytorch·python·深度学习·conda·torch
何大春2 小时前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
uncle_ll2 小时前
PyTorch图像预处理:计算均值和方差以实现标准化
图像处理·人工智能·pytorch·均值算法·标准化
Suyuoa2 小时前
附录2-pytorch yolov5目标检测
python·深度学习·yolo