预训练语言模型PLM(课程笔记)

一:分为两种范式

  1. Feature-based

预训练的模型参数(word-enbeddings)作为下游任务的输入,不更新预训练参数。

代表:word2vec,ELMO

  1. Fine-tuning

在下游任务时对模型参数进行更新

代表:BERT,GPT
二:GPT模型与BERT对比

1.模型结构

GPT是第一个基于transformer架构的PLM,使用的是transformer的Decoder;而Bert使用的是transformer的Encoder,相比于GPT结构更简单。

2.预训练方式

GPT:自回归语言模型预训练(预测下一个词),单向的,更适合生成式任务。

BERT:掩码语言模型(MLM)和下一句预测(NSP),双向的,更适合文本理解的任务。

3.存在的问题

BERT用了MLM,pre-training和fine-tuning不能统一起来,且训练效率比较低。
三:GPT,GPT2,GPT3对比

整体趋势,模型越来越大,大力出奇迹。

GPT:Fine-tuning

GPT2:Zero-Shot Learning

GPT3:Few-Shot Learning,但不更新参数

相关推荐
galileo201612 分钟前
LLM与金融
人工智能
DREAM依旧28 分钟前
隐马尔科夫模型|前向算法|Viterbi 算法
人工智能
GocNeverGiveUp41 分钟前
机器学习2-NumPy
人工智能·机器学习·numpy
oneouto2 小时前
selenium学习笔记(二)
笔记·学习·selenium
B站计算机毕业设计超人2 小时前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
学术头条2 小时前
清华、智谱团队:探索 RLHF 的 scaling laws
人工智能·深度学习·算法·机器学习·语言模型·计算语言学
sealaugh322 小时前
aws(学习笔记第十九课) 使用ECS和Fargate进行容器开发
笔记·学习·aws
18号房客2 小时前
一个简单的机器学习实战例程,使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集(Iris Dataset)**的分类
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·sklearn
feifeikon2 小时前
机器学习DAY3 : 线性回归与最小二乘法与sklearn实现 (线性回归完)
人工智能·机器学习·线性回归
游客5202 小时前
opencv中的常用的100个API
图像处理·人工智能·python·opencv·计算机视觉