【大模型】GPT系列模型基础

前言:GPT整体上与transformer结构相似,但只用了decoder部分。

目录

  • [1. GPT](#1. GPT)
  • [2. GPT2](#2. GPT2)
  • [3. GPT3](#3. GPT3)
  • [4. 知识补充](#4. 知识补充)
    • [4.1 下游任务实现方式](#4.1 下游任务实现方式)
    • [4.2 sparse attention](#4.2 sparse attention)

1. GPT

  • 预训练:无监督,根据前k个词预测下一个词的概率。
  • 微调: 有监督,目标函数=有监督的目标函数+λ*无监督的目标函数。
  • 核心结构:主要由12个transformer的decoder组成,并且只用了mask multi-head attention

2. GPT2

与GPT1相比做了以下改进:

  • 在attention前做了Layer Norm,使得模型输入更稳定
  • 输入序列的最大长度从 512 扩充到 1024。
  • 使用预训练+zero-shot的方式,而不是预训练+有监督微调,zero-shot通过prompt实现。

3. GPT3

与GPT2相比做了以下优化:

  • zero-shot变few-shot
  • attention变为了sparse attention

4. 知识补充

4.1 下游任务实现方式

  • fine-tuning:预训练 + 训练样本计算loss更新梯度,然后预测。会更新模型参数
  • zero-shot:预训练 + task description + prompt,直接预测。不更新模型参数
  • one-shot:预训练 + task description + example + prompt,预测。不更新模型参数
  • few-shot :又称为in-context learning,预训练 + task description + examples + prompt,预测。不更新模型参数

4.2 sparse attention

  • dense attention :token之间两两计算注意力,时间复杂度为 O ( N 2 ) {O(N^2)} O(N2)
  • sparse attention :token只与其他token的一个子集计算注意力。对于某一个token,只计算和他相对距离小于k,以及距离为2k,3k...nk的token计算,时间复杂度为 O ( N ∗ l o g ( N ) ) {O(N*log(N))} O(N∗log(N))
相关推荐
the3clipse12 小时前
系统盘怎么无损从 MBR 转 GPT 并开启 UEFI 启动?mbr2gpt 完整教程
gpt·mbr·uefi启动·无损转换分区表·bcdboot·引导修复
一缕82年的清风15 小时前
百万 Token 砍到 0.5 美元!微软新模型半价、DeepSeek 连夜撤回搜索费,11 月底开发者怎么搭最省钱?
gpt·claude·deepseek
翰墨之道1 天前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor9961 天前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音
bryant_meng2 天前
ChatGPT Desktop Model Evolution (2025): From GPT-4.1 to GPT-5.1
gpt·chatgpt·gpt4·gpt4o·gpt5
一缕82年的清风2 天前
谷歌甩出 Gemini 4 Neon:Agent 编程榜登顶第一、缓存仅 $0.15,把刚发的 GPT-6.2 架在火上烤!
gpt·claude·gemini
2301_767113982 天前
GPT-6.2 Astra 和 Sol 发布:真正变化的是长任务成本与交付方式
gpt
zdr尽职尽责2 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
一缕82年的清风3 天前
OpenAI 突发 GPT-6.2:Sol 提速 8 倍跑分追平旗舰,但这 1 处暗改会让缓存直接失效!
gpt·chatgpt
回眸&啤酒鸭3 天前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt