[学习笔记]刘知远团队大模型技术与交叉应用L3-Transformer_and_PLMs

RNN存在信息瓶颈的问题。

注意力机制的核心就是在decoder的每一步,都把encoder的所有向量提供给decoder模型。

具体的例子

先获得encoder隐向量的一个注意力分数。

注意力机制的各种变体

一:直接点积

二:中间乘以一个矩阵

三:Additive attention:使用一层前馈神经网络来获得注意力分数

...

Transformer概述

输入层

BPE(Byte Pair Encoding)

BPE提出主要是为了解决OOV的问题:会出现一些在词表中没有出现过的词。

位置编码Positional Encoding

Transformer Block

attention层

不进行scale,则方差会很大。则经过softmax后,有些部分会很尖锐,接近1。

多头注意力机制

Transformer Decoder Block

mask保证了文本生成是顺序生成的。

其他Tricks

Transformer的优缺点

缺点:模型对参数敏感,优化困难;处理文本复杂度是文本长度的平方数量级。

预训练语言模型PLM

预训练语言模型学习到的知识可以非常容易地迁移到下游任务。

word2vec是第一个预训练语言模型。现在绝大多数语言模型都是基于Transformer了,如Bert。

PLMs的两种范式

1.feature提取器:预训练好模型后,feature固定。典型的如word2vec和Elmo

2.对整个模型的参数进行更新

GPT


BERT

不同于GPT,BERT是双向的预训练模型。使用的是基于Mask的数据。

它的最主要的预训练任务是预测mask词。

还有一个是预测下一个句子。


PLMs after BERT

BERT的问题:

尽管BERT采用了一些策略,使mask可能替换成其他词或正确词。但是这并没有解决mask没有出现在下游任务。

预训练效率低。

窗口大小受限。

相关改进工作

RoBERTa指出bert并没有完全训练。它可以被训练得更加鲁棒。

MLM任务的应用

跨语言对齐

跨模态对齐

PLM前沿

GPT3


T5

统一所有NLP任务为seq to seq的形式

MoE

每次模型调用部分子模块来处理。涉及调度,负载均衡。

Transformers教程

介绍

使用Transformers的Pipeline

Tokenization

常用API


相关推荐
黑叶白树16 分钟前
简单的签到程序 python笔记
笔记·python
@小博的博客18 分钟前
C++初阶学习第十弹——深入讲解vector的迭代器失效
数据结构·c++·学习
YRr YRr20 分钟前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer
幸运超级加倍~1 小时前
软件设计师-上午题-15 计算机网络(5分)
笔记·计算机网络
南宫生1 小时前
贪心算法习题其四【力扣】【算法学习day.21】
学习·算法·leetcode·链表·贪心算法
懒惰才能让科技进步2 小时前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
love_and_hope2 小时前
Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
人工智能·pytorch·python·深度学习·学习
Chef_Chen2 小时前
从0开始学习机器学习--Day14--如何优化神经网络的代价函数
神经网络·学习·机器学习
芊寻(嵌入式)2 小时前
C转C++学习笔记--基础知识摘录总结
开发语言·c++·笔记·学习
准橙考典3 小时前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法