【深度学习】NestedTensors

文章目录

NestedTensors

DETR 中常见的数据格式为 NestedTensors,那么什么是 NestedTensors 呢?

NestedTensor,包括 tensormask 两个成员,tensor 就是输入的图像。mask 跟 tensor 同高宽但是单通道。比如 masks 大小为 (1, 800, 1440),tensor 大小为 (1, 3, 800, 1440)。

Why NestedTensor

当数据是连续的时,通常情况下每个样本都有不同的长度。

例如,在一批句子中,每个句子都有不同数量的单词。处理变化序列的一种常见技术是手动将每个数据张量填充到相同的形状,以形成一个批。

例如,我们有两个不同长度的句子和一个词汇表。为了将其表示为单个张量,我们将 0 填充到批中的最大长度。
简单说就是把图片都 padding 成最大的尺寸,padding 的方式就是补零,那么 batch 中的每一张图都有一个 mask 矩阵,在 img 有值的地方是 1,补零的地方是 0。

举个例子,下面两种构造方式其实是等价的,

python 复制代码
padded_sentences = torch.tensor([[1.0, 2.0, 0.0],
                                 [3.0, 4.0, 5.0]])
nested_sentences = torch.nested.nested_tensor([torch.tensor([1.0, 2.0]),
                                               torch.tensor([3.0, 4.0, 5.0])])

初始化 NestedTensor

我们可以从张量列表中创建 nestedtensor。我们将 nt[i] 表示为nestedtensor的第 i 个张量分量。

python 复制代码
nt = torch.nested.nested_tensor([torch.arange(12).reshape(
    2, 6), torch.arange(18).reshape(3, 6)], dtype=torch.float, device=device)

NestedTensor 操作

reshape

python 复制代码
nt_reshaped = nt.reshape(2, -1, 2, 3)

转置

python 复制代码
nt_transposed = nt_reshaped.transpose(1, 2)

查看维度

假设 features 为 NestedTensor 格式,直接运行 features[-1]. shape 则会报错 AttributeError: 'NestedTensor' object has no attribute 'Nested_Tensor',应该使用 features[-1]. tensors. shape

其他

其他操作具有与常规张量相同的语法。

python 复制代码
nt_mm = torch.nested.nested_tensor([torch.randn((2, 3, 4)), torch.randn((2, 3, 5))], device=device)
nt3 = torch.matmul(nt_transposed, nt_mm)
print(f"Result of Matmul:\n {nt3}")

nt4 = F.dropout(nt3, 0.1)
print(f"Result of Dropout:\n {nt4}")

nt5 = F.softmax(nt4, -1)
print(f"Result of Softmax:\n {nt5}")
相关推荐
ai_xiaogui4 分钟前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
Tipriest_10 分钟前
Python关键字梳理
python·关键字·keyword
聚客AI1 小时前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_387545641 小时前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
im_AMBER1 小时前
学习日志05 python
python·学习
大虫小呓2 小时前
Python 处理 Excel 数据 pandas 和 openpyxl 哪家强?
python·pandas
聽雨2372 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
哪 吒2 小时前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
二川bro2 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm2 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习