notes_NLP

RNN > LSTM, GRU

model 特点
RNN
LSTM input+forget+putput;
GRU reset+update;参数比LSTM少,计算效率更高;

循环神经网络(RNN/LSTM/GRU)
人人都能看懂的GRU

transformer > self-attention

  1. 根据Query和Key计算权重系数
    1.1 根据Query和Key计算两者的相似性或者相关性
    1.2 对第一阶段的原始分值进行归一化处理
  2. 根据权重系数对Value进行加权求和

Transformerattention机制和LSTMgate机制都通过加权方法控制了信息的流动;当前时刻的输出依赖于历史(单向模型)或者历史和未来的信息(双向模型)。

不同点:

model attention gate
激活函数 sigmoid softmax
操作对象 全局 元素
可作用范围 any 有限

Attention weights和LSTM/GRU中的gate机制有何不同?
超详细图解Self-Attention
熬了一晚上,我从零实现了Transformer模型,把代码讲给你听

预训练语言模型

预训练 :在模型参数初始化时使用已经在一些任务上预先训练完的、而非随机的参数。在后续具体任务上,可以冻结(fronzen)微调(fine-tune)参数。

预训练语言模型 :在以word2vec(2013)为代表的第一代预训练语言模型中,一个单词的词向量是固定不变的,无法区分单词的不同语义。ELMo(2018)考虑了上下文的信息,较好地解决了多义词的表示问题,开启了第二代预训练语言模型的时代,即预训练+微调的范式。

自回归模型 可以类比为早期的统计语言模型,也就是根据上文预测下一个单词,或者根据下文预测前面的单词。包括ELMoGPTXLNet等。
自编码模型 可以在输入中随机掩盖一个单词(相当于噪声),在预训练过程中,根据上下文预测被掩码词,因此可以认为是一个降噪(denosing)的过程。包括BERTERINERoBERTa等。

MLM (Masked Language Modeling) 是一种预训练语言模型的方法,通过在输入文本中随机掩盖一些单词或标记,并要求模型预测这些掩盖的单词或标记。主要目的是训练模型来学习上下文信息,以便在预测掩盖的单词或标记时提高准确性。

一文了解预训练语言模型!
预训练模型与10种常见NLP预训练模型
Masked Language Modeling

ProtBERT

... ...

相关推荐
余+1853816280013 分钟前
短视频矩阵系统文案创作功能开发实践,定制化开发
大数据·人工智能
MYH51617 分钟前
神经网络 隐藏层
人工智能·深度学习·神经网络
晊恦X.21 分钟前
第三章 k近邻法
人工智能
大笨象、小笨熊35 分钟前
机器学习简介
人工智能·机器学习
速易达网络1 小时前
deepseek+coze开发的智能体页面
人工智能
[shenhonglei]1 小时前
早报精选 · 科技与产业趋势观察 | 2025年6月9日
人工智能
聚客AI1 小时前
系统掌握PyTorch:图解张量、Autograd、DataLoader、nn.Module与实战模型
人工智能·pytorch·python·rnn·神经网络·机器学习·自然语言处理
穆易青2 小时前
2025.06.09【读书笔记】|PromptBio:让生信分析更简单的AI平台
人工智能
音程2 小时前
矩阵和向量范数的区别分析
人工智能·线性代数·矩阵
Zheng.Zeng2 小时前
第一篇:Liunx环境下搭建PaddlePaddle 3.0基础环境(Liunx Centos8.5安装Python3.10+pip3.10)
人工智能·paddlepaddle