3.1 GPT 系列:Generative Pre-Training(从 GPT-1 到 GPT-3)GPT 系列的主线非常清晰:用自回归语言建模(Language Modeling)作为通用学习目标,先在大规模文本上做生成式预训练(Generative Pre-Training),再通过不同方式把能力迁移到下游任务上。 从 GPT-1 的“预训练 + 有监督微调”,到 GPT-2 的“预训练 + zero-shot 多任务”,再到 GPT-3 的“预训练 + few-shot / in-context learning”,迁移方式逐步从“参数更新”走向“仅提示(prompt)驱动”。