深度学习pytorch——Broadcast自动扩展

介绍

在 PyTorch 中,Broadcast 是指自动扩展(broadcasting)运算的功能。它允许用户在不同形状的张量之间执行运算,而无需手动将它们的形状改变为相同的大小 。当进行运算时,PyTorch 会自动调整张量的形状,使其能够顺利进行运算。

具体来说,如果两个张量的形状不完全相同,但满足一定的条件时,PyTorch 可以使用 Broadcast 功能来进行运算。这两个张量在进行运算时,会自动根据 Broadcast 规则进行大小扩展,使它们的形状变得兼容。这样一来,我们就可以直接对这两个形状不同的张量进行运算,而不需要手动将它们的形状改变为相同的大小。

通过使用 Broadcast 自动扩展功能,我们可以简化代码,并且使得我们能够更方便地进行张量运算。这在深度学习和机器学习中经常用到,特别是在对网络层进行并行计算时。因此,Broadcast 自动扩展是 PyTorch 的一个重要功能,可以帮助我们更高效地进行张量运算。

扩展规则

在讲述扩展规则之前,我们先来讨论一下小维度和大维度。

比如现在我们有一个shape为[4, 3, 14, 14],我们将最前面的4所在的维度称为大维度,将最后面的14称为小维度。之所以这样称也是有理由的,我们将这个数据看成4张彩色图片,4就表示图片的数量,3就表示有3个通道,也就是rgb,第一个14就表示图像的高度,第二个14就表示图像的宽度,我们就可以理解为什么了。

1、broadcasting扩展机制是从小维度进行扩展的。因为我们一般处理图像并不是对图像的数量进行变换,而是对图像的像素值进行变换,而像素值存在最后两个维度。

2、broadcasting扩展机制内部的处理顺序是:

(1)先在维度方面进行扩展,再在size方面进行扩展。

用一张图解释broadcasting扩展机制实现的效果:

用法

下面我们通过一个实际的例子来讲解broadcasting扩展机制到底适用于什么样的情况。

首先,我们定义一个三维的数据[class, strdents, scores],最大维度表示班级,最小维度表示学生的分数,中间维度表示学生的人数,现在我们将该维度数字化为[4, 32, 8]表示总共有4个班级每个班级32名学生,每个学生有8门成绩。

其次,现在我们考虑到今年考试的题目太难了,为了让成绩好看些,我们准备为每个学生加5分,我们应该如何操作呢?

我们明确5分是一个标量或者可以是一个一维张量。我们需要将维度扩展到3维,就变成了[1, 1, 1],再将size进行扩展,就得到了[4, 32, 8],对里面每个值进行赋值为5,就完成了。

下面我们来讲一下什么时候使用broadcasting扩展机制。

第三种情况不适用 ,并且我们可以看到B的shape前面我们都加上了1,1就代表可以扩展到A对应的size。

相关推荐
西猫雷婶3 小时前
CNN卷积计算
人工智能·神经网络·cnn
格林威4 小时前
常规线扫描镜头有哪些类型?能做什么?
人工智能·深度学习·数码相机·算法·计算机视觉·视觉检测·工业镜头
lyx33136967595 小时前
#深度学习基础:神经网络基础与PyTorch
pytorch·深度学习·神经网络·参数初始化
倔强青铜三5 小时前
苦练Python第63天:零基础玩转TOML配置读写,tomllib模块实战
人工智能·python·面试
递归不收敛5 小时前
吴恩达机器学习课程(PyTorch 适配)学习笔记:3.3 推荐系统全面解析
pytorch·学习·机器学习
B站计算机毕业设计之家6 小时前
智慧交通项目:Python+YOLOv8 实时交通标志系统 深度学习实战(TT100K+PySide6 源码+文档)✅
人工智能·python·深度学习·yolo·计算机视觉·智慧交通·交通标志
高工智能汽车6 小时前
棱镜观察|极氪销量遇阻?千里智驾左手服务吉利、右手对标华为
人工智能·华为
txwtech6 小时前
第6篇 OpenCV RotatedRect如何判断矩形的角度
人工智能·opencv·计算机视觉
正牌强哥6 小时前
Futures_ML——机器学习在期货量化交易中的应用与实践
人工智能·python·机器学习·ai·交易·akshare
倔强青铜三6 小时前
苦练Python第62天:零基础玩转CSV文件读写,csv模块实战
人工智能·python·面试