Re45:读论文 GPT-1 Improving Language Understanding by Generative Pre-Training

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名:Improving Language Understanding by Generative Pre-Training

论文下载地址:https://www.mikecaptain.com/resources/pdf/GPT-1.pdf

本文是2018年OpenAI的工作,是初代GPT的原始论文。

先用无监督数据预训练语言模型(Transformer decoder),再在有监督数据上微调(加一层prediction head,同时优化语言模型和有监督任务的损失函数)

文章目录

  • [1. 简介](#1. 简介)
  • [2. GPT-1](#2. GPT-1)
    • [1. 无监督预训练语言模型](#1. 无监督预训练语言模型)
    • [2. 微调](#2. 微调)
  • [3. 实验](#3. 实验)
    • [1. 数据集](#1. 数据集)
    • [2. 下游任务指标](#2. 下游任务指标)
    • [3. 模型分析](#3. 模型分析)

1. 简介

NLU任务包括textual entailment, question answering, semantic similarity assessment, and document classification等子任务,本文测试了NLI、QA、语义相似度和文本分类4个任务。

有监督数据稀少,本文的解决方案是在语言模型上用海量无标签数据上进行generative pre-training,然后再在特定子任务上discriminative fine-tuning。

(算半监督学习)

普遍的使用无监督方法来学习语言学知识的方法,是构建预训练词嵌入来提升NLP任务的效果,这种做法有两个问题:1. 在学习文本表征中使用什么优化目标对迁移最有效,不知道。至今没有绝对优秀的方法。2. 如何利用文本表征最有效,不知道。

2. GPT-1

1. 无监督预训练语言模型

标准语言模型目标,最大化文本的似然:

( k k k是上下文窗口尺寸,条件概率 P P P,神经网络的参数 Θ \Theta Θ)

本文用多层Transofmer decoder[1](#1)(多头自注意力机制+position-wise前馈神经网络生成target token上的输出分布):

U U U是token, n n n是层数, W e W_e We是token嵌入矩阵, W p W_p Wp是position embedding矩阵

Transformer相比LSTM的优势体验在对长文本的处理上

2. 微调

通过输入(每个任务被转变成不同形式的输入,见figure 1)得到表征,喂进线性输出层来预测 y y y:

新的优化目标:

事实上是将两个优化目标加起来:

3. 实验

1. 数据集

  1. 上游预训练数据:BooksCorpus和1B Word Benchmark
  2. 下游微调数据

2. 下游任务指标

  1. NLI任务的实验结果
  2. QA和常识推理的实验结果
  3. 语义相似度和文本分类的实验结果

3. 模型分析

  1. 层数对微调结果的影响(答案是越多越好)和预训练更新次数对zero-shot表现的影响
    (数值是经规范化后得到的)
  2. ablation study

  1. Generating Wikipedia by Summarizing Long Sequences ↩︎
相关推荐
CoderLiu12 小时前
用这个MCP,只给大模型一个figma链接就能直接导出图片,还能自动压缩上传?
前端·llm·mcp
新智元14 小时前
图灵奖大佬向 97 年小孩哥汇报?小扎 1 亿年薪买新贵,老将痛诉熬夜捡 GPU!
人工智能·openai
新智元14 小时前
刚刚,Ilya 官宣出任 SSI CEO!送走「叛徒」联创,豪言不缺 GPU
人工智能·openai
FF-Studio16 小时前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论
智泊AI16 小时前
大语言模型LLM底层技术原理到底是什么?大型语言模型如何工作?
llm
moonless022216 小时前
🌈Transformer说人话版(二)位置编码 【持续更新ing】
人工智能·llm
小爷毛毛_卓寿杰16 小时前
基于大模型与知识图谱的对话引导意图澄清系统技术解析
人工智能·llm
前端小盆友16 小时前
从零实现一个GPT 【React + Express】--- 【2】实现对话流和停止生成
前端·gpt·react.js
聚客AI17 小时前
解构高效提示工程:分层模型、文本扩展引擎与可视化调试全链路指南
人工智能·llm·掘金·日新计划
羊小猪~~18 小时前
【NLP入门系列四】评论文本分类入门案例
人工智能·自然语言处理·分类