Masked_Filled随机置列为零

文章目录

  • [1. softmax](#1. softmax)
  • [2. python 方法](#2. python 方法)

1. softmax

在计算损失函数的时候,我们需要将我们填充为0的地方概率置为0,以免参与损失计算,我们一般会将需要置为0的位置上面通过masked_filled函数将为True的位置置为一个非常小的值1e-9,这样经过F.softmax函数后,其值为0。这里用到两个函数,

  • 第一个是F.softmax,主要负责归一化处理,将值转换为0-1内,并且其和为1,转换成概率值。
  • 第二个是Masked_fill 函数,可以通过提供一个同等大小的BOOL矩阵,将为True的地方,填充为自己喜欢的值。
  • 第三个是填充的方式,在transformer中,我们把为0的位置的值填充为负无穷,这样经过为softmax后为零,但是transofrmer中填充的方式为在一个行向量中的末尾填充零,以行向量作为样本向量,列向量为特征向量,根据MIT麻神理工的思路,矩阵A以列向量表示更适合参数学习,所以我们希望通过随机掩码不同位置的列向量,这样通过学习样本的特征维来表示矩阵,所以我们引入一种列向量掩码方式。

2. python 方法

python 复制代码
import torch
import torch.nn as nn
import torch.nn.functional as F

torch.set_printoptions(precision=3, sci_mode=False)
torch.manual_seed(333512)

if __name__ == "__main__":
    run_code = 0
    row = 4
    column = 5
    scores = torch.randn(row, column)
    masked = torch.randint(0, 2, (1, column)).to(torch.bool)
    masked_scores = scores.masked_fill(masked, -1e9)
    scores_softmax = F.softmax(masked_scores, dim=-1)
    print(f"scores=\n{scores}")
    print(f"masked=\n{masked}")
    print(f"masked_scores=\n{masked_scores}")
    print(f"scores_softmax=\n{scores_softmax}")
  • 结果:
python 复制代码
scores=
tensor([[-0.786,  1.136,  1.624,  0.417,  1.366],
        [-0.520, -0.127, -0.219, -0.489,  0.276],
        [-0.937, -0.734,  1.221, -0.305,  1.020],
        [ 2.252, -0.042, -1.098,  1.135, -0.075]])
masked=
tensor([[False,  True,  True, False,  True]])
masked_scores=
tensor([[    -0.786, -1000000000.000, -1000000000.000,      0.417, -1000000000.000],
        [    -0.520, -1000000000.000, -1000000000.000,     -0.489, -1000000000.000],
        [    -0.937, -1000000000.000, -1000000000.000,     -0.305, -1000000000.000],
        [     2.252, -1000000000.000, -1000000000.000,      1.135, -1000000000.000]])
scores_softmax=
tensor([[0.231, 0.000, 0.000, 0.769, 0.000],
        [0.492, 0.000, 0.000, 0.508, 0.000],
        [0.347, 0.000, 0.000, 0.653, 0.000],
        [0.754, 0.000, 0.000, 0.246, 0.000]])
相关推荐
葫三生33 分钟前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程5 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
有Li5 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
郭庆汝5 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion7 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周7 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享8 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜8 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习