深度学习pytorch——Broadcast自动扩展

介绍

在 PyTorch 中,Broadcast 是指自动扩展(broadcasting)运算的功能。它允许用户在不同形状的张量之间执行运算,而无需手动将它们的形状改变为相同的大小 。当进行运算时,PyTorch 会自动调整张量的形状,使其能够顺利进行运算。

具体来说,如果两个张量的形状不完全相同,但满足一定的条件时,PyTorch 可以使用 Broadcast 功能来进行运算。这两个张量在进行运算时,会自动根据 Broadcast 规则进行大小扩展,使它们的形状变得兼容。这样一来,我们就可以直接对这两个形状不同的张量进行运算,而不需要手动将它们的形状改变为相同的大小。

通过使用 Broadcast 自动扩展功能,我们可以简化代码,并且使得我们能够更方便地进行张量运算。这在深度学习和机器学习中经常用到,特别是在对网络层进行并行计算时。因此,Broadcast 自动扩展是 PyTorch 的一个重要功能,可以帮助我们更高效地进行张量运算。

扩展规则

在讲述扩展规则之前,我们先来讨论一下小维度和大维度。

比如现在我们有一个shape为[4, 3, 14, 14],我们将最前面的4所在的维度称为大维度,将最后面的14称为小维度。之所以这样称也是有理由的,我们将这个数据看成4张彩色图片,4就表示图片的数量,3就表示有3个通道,也就是rgb,第一个14就表示图像的高度,第二个14就表示图像的宽度,我们就可以理解为什么了。

1、broadcasting扩展机制是从小维度进行扩展的。因为我们一般处理图像并不是对图像的数量进行变换,而是对图像的像素值进行变换,而像素值存在最后两个维度。

2、broadcasting扩展机制内部的处理顺序是:

(1)先在维度方面进行扩展,再在size方面进行扩展。

用一张图解释broadcasting扩展机制实现的效果:

用法

下面我们通过一个实际的例子来讲解broadcasting扩展机制到底适用于什么样的情况。

首先,我们定义一个三维的数据[class, strdents, scores],最大维度表示班级,最小维度表示学生的分数,中间维度表示学生的人数,现在我们将该维度数字化为[4, 32, 8]表示总共有4个班级每个班级32名学生,每个学生有8门成绩。

其次,现在我们考虑到今年考试的题目太难了,为了让成绩好看些,我们准备为每个学生加5分,我们应该如何操作呢?

我们明确5分是一个标量或者可以是一个一维张量。我们需要将维度扩展到3维,就变成了[1, 1, 1],再将size进行扩展,就得到了[4, 32, 8],对里面每个值进行赋值为5,就完成了。

下面我们来讲一下什么时候使用broadcasting扩展机制。

第三种情况不适用 ,并且我们可以看到B的shape前面我们都加上了1,1就代表可以扩展到A对应的size。

相关推荐
Leo.yuan2 分钟前
数据湖是什么?数据湖和数据仓库的区别是什么?
大数据·运维·数据仓库·人工智能·信息可视化
仙人掌_lz23 分钟前
如何打造一款金融推理工具Financial Reasoning Workflow:WebUI+Ollama+Fin-R1+MCP/RAG
人工智能·搜索引擎·ai·金融·llm·rag·mcp
MILI元宇宙26 分钟前
纳米AI搜索与百度AI搜、豆包的核心差异解析
人工智能·百度
SpikeKing36 分钟前
LLM - LlamaFactory 的大模型推理 踩坑记录
人工智能·llm·llamafactory
marteker41 分钟前
年度峰会上,抖音依靠人工智能和搜索功能吸引广告主
人工智能·搜索引擎
飞哥数智坊1 小时前
AI编程实战:生成结果不合心意,1个简单思路帮你破解
人工智能·cursor
Takina~1 小时前
python打卡day48
pytorch·python·深度学习
华清远见成都中心1 小时前
大语言模型(LLM)中的KV缓存压缩与动态稀疏注意力机制设计
人工智能·缓存·语言模型
hao_wujing1 小时前
基于梯度的中毒攻击
大数据·人工智能
Lethehong2 小时前
Gemini 2.5 Pro (0605版本) 深度测评与体验指南
人工智能·chatgpt·googlecloud