【深度学习】NestedTensors

文章目录

NestedTensors

DETR 中常见的数据格式为 NestedTensors,那么什么是 NestedTensors 呢?

NestedTensor,包括 tensor 和 mask 两个成员,tensor 就是输入的图像。mask 跟 tensor 同高宽但是单通道。比如 masks 大小为 (1, 800, 1440),tensor 大小为 (1, 3, 800, 1440)。

Why NestedTensor

当数据是连续的时,通常情况下每个样本都有不同的长度。

例如,在一批句子中,每个句子都有不同数量的单词。处理变化序列的一种常见技术是手动将每个数据张量填充到相同的形状,以形成一个批。

例如,我们有两个不同长度的句子和一个词汇表。为了将其表示为单个张量,我们将 0 填充到批中的最大长度。
简单说就是把图片都 padding 成最大的尺寸,padding 的方式就是补零,那么 batch 中的每一张图都有一个 mask 矩阵,在 img 有值的地方是 1,补零的地方是 0。

举个例子,下面两种构造方式其实是等价的,

python 复制代码
padded_sentences = torch.tensor([[1.0, 2.0, 0.0],
                                 [3.0, 4.0, 5.0]])
nested_sentences = torch.nested.nested_tensor([torch.tensor([1.0, 2.0]),
                                               torch.tensor([3.0, 4.0, 5.0])])

初始化 NestedTensor

我们可以从张量列表中创建 nestedtensor。我们将 nti 表示为nestedtensor的第 i 个张量分量。

python 复制代码
nt = torch.nested.nested_tensor([torch.arange(12).reshape(
    2, 6), torch.arange(18).reshape(3, 6)], dtype=torch.float, device=device)

NestedTensor 操作

reshape

python 复制代码
nt_reshaped = nt.reshape(2, -1, 2, 3)

转置

python 复制代码
nt_transposed = nt_reshaped.transpose(1, 2)

查看维度

假设 features 为 NestedTensor 格式,直接运行 features[-1]. shape 则会报错 AttributeError: 'NestedTensor' object has no attribute 'Nested_Tensor',应该使用 features[-1]. tensors. shape。

其他

其他操作具有与常规张量相同的语法。

python 复制代码
nt_mm = torch.nested.nested_tensor([torch.randn((2, 3, 4)), torch.randn((2, 3, 5))], device=device)
nt3 = torch.matmul(nt_transposed, nt_mm)
print(f"Result of Matmul:\n {nt3}")

nt4 = F.dropout(nt3, 0.1)
print(f"Result of Dropout:\n {nt4}")

nt5 = F.softmax(nt4, -1)
print(f"Result of Softmax:\n {nt5}")
相关推荐
叮当小飞鱼5 分钟前
RAG幻觉
python
汤姆宝库7 分钟前
解码采样策略的实现:temperature、top-p、min-p与重复惩罚
人工智能
鶴哥只手遮天8 分钟前
《WeKnora 深度技术解析》第 5 章 数据底座:多租户模型、仓储与迁移
人工智能
guuguo24 分钟前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
赵大仁32 分钟前
Agent 工具调用可靠性:超时、重试、幂等与人工确认怎么设计
python·agent·幂等·工具调用·人工确认
双鱼大猫1 小时前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户5833339816681 小时前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
__underline__2 小时前
冷门Python知识点007篇:list[int]不是类,为什么能当基类?
后端·python
Dmz丶2 小时前
前端转 AI 100 天 Day 49:文档切分——RAG 效果的隐形开关
python
sanxing三省2 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek