深度学习pytorch——Broadcast自动扩展

介绍

在 PyTorch 中,Broadcast 是指自动扩展(broadcasting)运算的功能。它允许用户在不同形状的张量之间执行运算,而无需手动将它们的形状改变为相同的大小 。当进行运算时,PyTorch 会自动调整张量的形状,使其能够顺利进行运算。

具体来说,如果两个张量的形状不完全相同,但满足一定的条件时,PyTorch 可以使用 Broadcast 功能来进行运算。这两个张量在进行运算时,会自动根据 Broadcast 规则进行大小扩展,使它们的形状变得兼容。这样一来,我们就可以直接对这两个形状不同的张量进行运算,而不需要手动将它们的形状改变为相同的大小。

通过使用 Broadcast 自动扩展功能,我们可以简化代码,并且使得我们能够更方便地进行张量运算。这在深度学习和机器学习中经常用到,特别是在对网络层进行并行计算时。因此,Broadcast 自动扩展是 PyTorch 的一个重要功能,可以帮助我们更高效地进行张量运算。

扩展规则

在讲述扩展规则之前,我们先来讨论一下小维度和大维度。

比如现在我们有一个shape为[4, 3, 14, 14],我们将最前面的4所在的维度称为大维度,将最后面的14称为小维度。之所以这样称也是有理由的,我们将这个数据看成4张彩色图片,4就表示图片的数量,3就表示有3个通道,也就是rgb,第一个14就表示图像的高度,第二个14就表示图像的宽度,我们就可以理解为什么了。

1、broadcasting扩展机制是从小维度进行扩展的。因为我们一般处理图像并不是对图像的数量进行变换,而是对图像的像素值进行变换,而像素值存在最后两个维度。

2、broadcasting扩展机制内部的处理顺序是:

(1)先在维度方面进行扩展,再在size方面进行扩展。

用一张图解释broadcasting扩展机制实现的效果:

用法

下面我们通过一个实际的例子来讲解broadcasting扩展机制到底适用于什么样的情况。

首先,我们定义一个三维的数据[class, strdents, scores],最大维度表示班级,最小维度表示学生的分数,中间维度表示学生的人数,现在我们将该维度数字化为[4, 32, 8]表示总共有4个班级每个班级32名学生,每个学生有8门成绩。

其次,现在我们考虑到今年考试的题目太难了,为了让成绩好看些,我们准备为每个学生加5分,我们应该如何操作呢?

我们明确5分是一个标量或者可以是一个一维张量。我们需要将维度扩展到3维,就变成了[1, 1, 1],再将size进行扩展,就得到了[4, 32, 8],对里面每个值进行赋值为5,就完成了。

下面我们来讲一下什么时候使用broadcasting扩展机制。

第三种情况不适用 ,并且我们可以看到B的shape前面我们都加上了1,1就代表可以扩展到A对应的size。

相关推荐
CoovallyAIHub2 分钟前
中科大DSAI Lab团队多篇论文入选ICCV 2025,推动三维视觉与泛化感知技术突破
深度学习·算法·计算机视觉
DevUI团队4 分钟前
🚀 MateChat V1.8.0 震撼发布!对话卡片可视化升级,对话体验全面进化~
前端·vue.js·人工智能
聚客AI7 分钟前
🎉7.6倍训练加速与24倍吞吐提升:两项核心技术背后的大模型推理优化全景图
人工智能·llm·掘金·日新计划
黎燃17 分钟前
当 YOLO 遇见编剧:用自然语言生成技术把“目标检测”写成“目标剧情”
人工智能
算家计算18 分钟前
AI教母李飞飞团队发布最新空间智能模型!一张图生成无限3D世界,元宇宙越来越近了
人工智能·资讯
掘金一周21 分钟前
Flutter Riverpod 3.0 发布,大规模重构下的全新状态管理框架 | 掘金一周 9.18
前端·人工智能·后端
CoovallyAIHub37 分钟前
开源的消逝与新生:从 TensorFlow 的落幕到开源生态的蜕变
pytorch·深度学习·llm
用户5191495848451 小时前
C#记录类型与集合的深度解析:从默认实现到自定义比较器
人工智能·aigc
IT_陈寒4 小时前
React 18实战:7个被低估的Hooks技巧让你的开发效率提升50%
前端·人工智能·后端
逛逛GitHub5 小时前
飞书多维表“独立”了!功能强大的超出想象。
人工智能·github·产品