0基础跟德姆(dom)一起学AI 自然语言处理19-输出部分实现

1 输出部分介绍

  • 输出部分包含:
    • 线性层
    • softmax层

2 线性层的作用

  • 通过对上一步的线性变化得到指定维度的输出, 也就是转换维度的作用.

3 softmax层的作用

  • 使最后一维的向量中的数字缩放到0-1的概率值域内, 并满足他们的和为1.

3.1 线性层和softmax层的代码分析

复制代码
# 解码器类 Generator 实现思路分析
# init函数 (self, d_model, vocab_size)
    # 定义线性层self.project
# forward函数 (self, x)
    # 数据 F.log_softmax(self.project(x), dim=-1)

class Generator(nn.Module):
    def __init__(self, d_model, vocab_size):
        # 参数d_model 线性层输入特征尺寸大小
        # 参数vocab_size 线层输出尺寸大小
        super(Generator, self).__init__()
        # 定义线性层
        self.project = nn.Linear(d_model, vocab_size)

    def forward(self, x):
        # 数据经过线性层 最后一个维度归一化 log方式
        x = F.log_softmax(self.project(x), dim=-1)
        return x
  • nn.Linear演示:

    m = nn.Linear(20, 30)
    input = torch.randn(128, 20)
    output = m(input)
    print(output.size())
    torch.Size([128, 30])

  • 函数调用
复制代码
if __name__ == '__main__':

    # 实例化output层对象
    d_model = 512
    vocab_size = 1000
    my_generator = Generator(d_model, vocab_size )

    # 准备模型数据
    x = torch.randn(2, 4, 512)

    # 数据经过out层
    gen_result = my_generator(x)
    print('gen_result--->', gen_result.shape, '\n', gen_result)
  • 输出效果
复制代码
gen_result---> torch.Size([2, 4, 1000]) 
 tensor([[[-6.5949, -7.0295, -6.5928,  ..., -7.4317, -7.5488, -6.4871],
         [-7.0481, -6.2352, -7.2797,  ..., -6.1491, -6.1621, -7.1798],
         [-8.1724, -7.0675, -8.2814,  ..., -6.0033, -7.1100, -7.6844],
         [-6.2466, -6.6074, -6.1852,  ..., -6.8373, -7.6600, -6.8578]],

        [[-7.7598, -7.4174, -6.2134,  ..., -7.8000, -6.9862, -6.9261],
         [-6.4790, -7.5458, -6.2342,  ..., -6.8340, -6.6827, -7.0287],
         [-7.2524, -7.2598, -7.0600,  ..., -7.5680, -6.9492, -6.7689],
         [-6.6260, -6.1928, -6.7045,  ..., -6.6323, -7.9005, -7.5397]]],
       grad_fn=<LogSoftmaxBackward0>)
相关推荐
在努力的韩小豪28 分钟前
如何从0开始构建自己的第一个AI应用?(Prompt工程、Agent自定义、Tuning)
人工智能·python·llm·prompt·agent·ai应用·mcp
云卓SKYDROID29 分钟前
无人机环境感知系统运行与技术难点!
人工智能·计算机视觉·目标跟踪·无人机·科普·高科技·云卓科技
网安INF1 小时前
深度学习中的 Seq2Seq 模型与注意力机制
人工智能·深度学习·神经网络·注意力机制·seq2seq
火山引擎开发者社区1 小时前
ByteBrain x 清华 VLDB25|时序多模态大语言模型 ChatTS
人工智能·语言模型·自然语言处理
SoaringPigeon1 小时前
从深度学习的角度看自动驾驶
人工智能·深度学习·自动驾驶
产品经理独孤虾1 小时前
如何利用AI大模型对已有创意进行评估,打造杀手级的广告创意
人工智能·大模型·aigc·产品经理·数字营销·智能营销·智能创意生成
MobotStone2 小时前
无代码+AI时代,为什么你仍然需要像个开发者一样思考
人工智能·算法
Otaku love travel2 小时前
实施运维文档
运维·windows·python
测试老哥2 小时前
软件测试之单元测试
自动化测试·软件测试·python·测试工具·职场和发展·单元测试·测试用例
张较瘦_2 小时前
[论文阅读] 人工智能 + 软件工程 | LLM辅助软件开发:需求如何转化为代码?
论文阅读·人工智能·软件工程