一:分为两种范式
- Feature-based
预训练的模型参数(word-enbeddings)作为下游任务的输入,不更新预训练参数。
代表:word2vec,ELMO
- Fine-tuning
在下游任务时对模型参数进行更新
代表:BERT,GPT
二:GPT模型与BERT对比1.模型结构
GPT是第一个基于transformer架构的PLM,使用的是transformer的Decoder;而Bert使用的是transformer的Encoder,相比于GPT结构更简单。
2.预训练方式
GPT:自回归语言模型预训练(预测下一个词),单向的,更适合生成式任务。
BERT:掩码语言模型(MLM)和下一句预测(NSP),双向的,更适合文本理解的任务。
3.存在的问题
BERT用了MLM,pre-training和fine-tuning不能统一起来,且训练效率比较低。
三:GPT,GPT2,GPT3对比整体趋势,模型越来越大,大力出奇迹。
GPT:Fine-tuning
GPT2:Zero-Shot Learning
GPT3:Few-Shot Learning,但不更新参数
预训练语言模型PLM(课程笔记)
好难怎么办2024-08-26 9:45
相关推荐
芙蓉姐姐陪你写论文12 分钟前
别再为创新点发愁了!ChatGPT助你快速搞定!967717 分钟前
神经网络的线性部分和非线性部分ozawacai35 分钟前
Element UI入门笔记(个人向)富士达幸运星40 分钟前
模板匹配应用(opencv的妙用)liangbm344 分钟前
数学建模笔记—— 整数规划和0-1规划安科瑞蒋静1 小时前
介绍 TensorFlow 的基本概念和使用场景Aha_aho1 小时前
【pytorch】keepdim参数解析AI大模型训练家1 小时前
大模型 LLM(Large Language Models)如今十分火爆,对于初入此领域的新人小白来说,应该如何入门 LLM 呢?是否有值得推荐的入门教程呢?天润融通1 小时前
AI客服机器人开启企业客户服务新纪元超维机器人1 小时前
智能巡检机器人局部放电检测的应用