【深度学习】NestedTensors

文章目录

NestedTensors

DETR 中常见的数据格式为 NestedTensors,那么什么是 NestedTensors 呢?

NestedTensor,包括 tensormask 两个成员,tensor 就是输入的图像。mask 跟 tensor 同高宽但是单通道。比如 masks 大小为 (1, 800, 1440),tensor 大小为 (1, 3, 800, 1440)。

Why NestedTensor

当数据是连续的时,通常情况下每个样本都有不同的长度。

例如,在一批句子中,每个句子都有不同数量的单词。处理变化序列的一种常见技术是手动将每个数据张量填充到相同的形状,以形成一个批。

例如,我们有两个不同长度的句子和一个词汇表。为了将其表示为单个张量,我们将 0 填充到批中的最大长度。
简单说就是把图片都 padding 成最大的尺寸,padding 的方式就是补零,那么 batch 中的每一张图都有一个 mask 矩阵,在 img 有值的地方是 1,补零的地方是 0。

举个例子,下面两种构造方式其实是等价的,

python 复制代码
padded_sentences = torch.tensor([[1.0, 2.0, 0.0],
                                 [3.0, 4.0, 5.0]])
nested_sentences = torch.nested.nested_tensor([torch.tensor([1.0, 2.0]),
                                               torch.tensor([3.0, 4.0, 5.0])])

初始化 NestedTensor

我们可以从张量列表中创建 nestedtensor。我们将 nt[i] 表示为nestedtensor的第 i 个张量分量。

python 复制代码
nt = torch.nested.nested_tensor([torch.arange(12).reshape(
    2, 6), torch.arange(18).reshape(3, 6)], dtype=torch.float, device=device)

NestedTensor 操作

reshape

python 复制代码
nt_reshaped = nt.reshape(2, -1, 2, 3)

转置

python 复制代码
nt_transposed = nt_reshaped.transpose(1, 2)

查看维度

假设 features 为 NestedTensor 格式,直接运行 features[-1]. shape 则会报错 AttributeError: 'NestedTensor' object has no attribute 'Nested_Tensor',应该使用 features[-1]. tensors. shape

其他

其他操作具有与常规张量相同的语法。

python 复制代码
nt_mm = torch.nested.nested_tensor([torch.randn((2, 3, 4)), torch.randn((2, 3, 5))], device=device)
nt3 = torch.matmul(nt_transposed, nt_mm)
print(f"Result of Matmul:\n {nt3}")

nt4 = F.dropout(nt3, 0.1)
print(f"Result of Dropout:\n {nt4}")

nt5 = F.softmax(nt4, -1)
print(f"Result of Softmax:\n {nt5}")
相关推荐
天水幼麟6 分钟前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
狐凄6 分钟前
Python实例题:基于 Python 的简单聊天机器人
开发语言·python
悦悦子a啊1 小时前
Python之--基本知识
开发语言·前端·python
jndingxin2 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟2 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦2 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
笑稀了的野生俊3 小时前
在服务器中下载 HuggingFace 模型:终极指南
linux·服务器·python·bash·gpu算力
Naiva3 小时前
【小技巧】Python+PyCharm IDE 配置解释器出错,环境配置不完整或不兼容。(小智AI、MCP、聚合数据、实时新闻查询、NBA赛事查询)
ide·python·pycharm
hie988943 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03273 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉