论文阅读 BERT GPT - transformer在NLP领域的延伸

文章目录

• 不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展
• [1 摘要](#1 摘要)
• • [1.1 BERT - 核心](#1.1 BERT - 核心)
  • [1.2 GPT - 核心](#1.2 GPT - 核心)
• [2 模型架构](#2 模型架构)
• • [2.1 概览](#2.1 概览)
• [3 区别](#3 区别)
• • [3.1 finetune和prompt](#3.1 finetune和prompt)
• [3.2 transformer及训练](#3.2 transformer及训练)
• 总结

不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展

1 摘要

1.1 BERT - 核心

双向 编码器 加上mask做完形填空超大模型无监督预训练 需要整个模型作为pretrain weight到下游任务做fintune

1.2 GPT - 核心

自回归 解码器 无需训练 只需Prompt

2 模型架构

2.1 概览

3 区别

3.1 finetune和prompt

BERT需要全部参数进行训练

GPT不需要训练即可完成下游任务

3.2 transformer及训练

BERT使用双向的编码器

GPT使用自回归的解码器

总结

总结个毛