大语言模型-1.3-GPT、DeepSeek模型介绍

简介

本博客内容是《大语言模型》一书的读书笔记,该书是中国人民大学高瓴人工智能学院赵鑫教授团队出品,覆盖大语言模型训练与使用的全流程,从预训练到微调与对齐,从使用技术到评测应用,帮助学员全面掌握大语言模型的核心技术。并且,课程内容基于大量的代码实战与讲解,通过实际项目与案例,学员能将理论知识应用于真实场景,提升解决实际问题的能力。

本文主要记录datawhale的活动学习笔记,可点击活动连接

参考

参考
【大模型】GPT: Improving Language Understanding by Generative Pre-Training
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了

#41 AI-002-十分钟理解ChatGPT的技术逻辑及演进(前世、今生)

十分钟理解Transformer

1.3.1GPT 系列模型成体系推进

2017年,谷歌提出Transformer

2018年,OpenAI提出GPT(1亿+参数)

2019年,GPT-2(15亿参数)

2020年,GPT-3(1750亿参数)

2021年,CodeX(基于GPT-3,代码预训练)

2021年,WebGPT(搜索能力)

2022年2月,InstructGPT(人类对齐)

2022年11月,ChatGPT(对话能力)

2023年3月,GPT-4(推理能力、多模态能力)

2024年9月,o1(深度思考能力提升)

2025年1月,o3(深度思考能力进一步增强)

GPT系列模型从18年开始系统迭代,对于大模型发展起到了深远影响

GPT从开始至今,其发展历程如下:

2017年6月,Google发布论文《Attention is all you need》,首次提出Transformer模型,成为GPT发展的基础。 论文地址: https://arxiv.org/abs/1706.03762

2018年6月,OpenAI 发布论文《Improving Language Understanding by Generative Pre-Training》(通过生成式预训练提升语言理解能力),首次提出GPT模型(Generative Pre-Training)。论文地址: paperswithcode.com/method/gpt

2019年2月,OpenAI 发布论文《Language Models are Unsupervised Multitask Learners》(语言模型应该是一个无监督多任务学习者),提出GPT-2模型。论文地址: paperswithcode.com/method/gpt-...

2020年5月,OpenAI 发布论文《Language Models are Few-Shot Learners》(语言模型应该是一个少量样本(few-shot)学习者,提出GPT-3模型。论文地址: https://paperswithcode.com/method/gpt-2

2022年2月底,OpenAI 发布论文《Training language models to follow instructions with human feedback》(使用人类反馈指令流来训练语言模型),公布 Instruction GPT模型。论文地址: https://arxiv.org/abs/2203.02155

2022年11月30日,OpenAI推出ChatGPT模型,并提供试用,全网火爆。见:AI-001-火爆全网的聊天机器人ChatGPT能做什么

GPT 系列模型发展历程

➢ 小模型:GPT-1,GPT-2

➢ 大模型:GPT-3,CodeX,GPT-3.5,GPT-4

➢ 推理大模型:o-series

GPT-1(1.1亿参数)

当时NLP的问题

此时训练一个 NLP 模型和我们之前做的推荐类似,针对某个任务,首先搞一些样本,然后对模型进行有监督训练。问题出在题面上。

1.样本怎么来,大量的高质量的标注不太容易获得。

2.模型训练的任务是固定的,很难学到泛化能力,没法复用到做其他任务。

这样训练出来的模型被困在了一个特定的领域,离我们想要的 AGI(人工通用智能)有点远。

GPT-1采用的架构

➢ Decode-only Transformer架构

➢ 预训练后针对特定任务微调

entailment术语翻译为"蕴涵"
1.用了4.6GB的BookCorpus数据集(该数据集主要是小说,openai 为了验证技术可行性,特意选了未出版的 7000 本书),无监督训练一个预训练模型,即generative pre-training,GPT 名字的由来。

2.对于子任务,用有标签的小的数据集训练一个微调模型,discriminative fine-tuning。
微调方式具体来说,可见上图右图部分。

对于每个任务,输入会被构造成一个连续的 token 序列。分类任务,会将输入文本拼接成一个序列,并在开头添加一个特殊token-start,在结尾增加 extract然后经过模型+线性层后输出结果,对于相似度的文本比较有趣,比如看 A 和 B 是否相似,那么就组成个序列分别为 AB 和 BA,其输入模型后,最终通过softmax 判断,是否相似,是个二分类问题。第四个问答其实是一个多分类问题。

这四个任务有一个共性,就是我们只需要对输入做定制化,输出做一些定制,但是中间的 transformer 模型不会去动它。

左图:GPT是一个transformer decoder-only的结构, MHA +add&norm 的 Block 其用了 12 层,参数量 0.11B,对,此时它还很小。另外输入的token 用了word2vec做了 embedding 表征。






GPT-2 (15亿参数)

➢ 将任务形式统一为单词预测

➢ Pr (output | input, task)

➢ 预训练与下游任务一致

➢ 使用提示进行无监督任务求解

➢ 初步尝试了规模扩展

GPT-3(1750亿参数)

➢ 模型规模达到1750亿参数

➢ 涌现出上下文学习能力

CodeX

➢ 代码数据训练

➢ 推理与代码合成能力


WebGPT

➢ 大语言模型使用浏览器

WebGPT: Browser-assisted question-answering with human feedback, Arxiv 2021

InstructGPT

➢ 大语言模型与人类价值观对齐

➢ 提出RLHF算法

Training language models to follow instructions with human feedback, NIPS 2022

1)、对GPT-3进行fine-tuning(监督微调)。

2)、再训练一个Reward Model(奖励模型,RM)

3)、最后通过增强学习优化SFT

值得注意的是,第2步、第3步是完全可以迭代、循环多次进行的。

Instruction GPT的训练规模

基础数据规模同GPT-3 ,只是在其基础上增加了3个步骤(监督微调SFT、奖励模型训练Reward Model,增强学习优化RPO)。

下图中labeler是指OpenAI雇佣或有相关关系的标注人员(labler)。

而customer则是指GPT-3 API的调用用户(即其他一些机器学习研究者、程序员等)。

本次ChatGPT上线后据说有百万以上的用户,我们每个人都是其customer,所以可以预见,未来GPT-4发布时,其customer规模至少是百万起。

ChatGPT

➢ 基于 InstructGPT 相似技术开发,面向对话进行优化

ChatGPT和InstructionGPT本质上是同一代际的,仅仅是在InstructionGPT的基础上,增加了Chat功能,同时开放到公众测试训练,以便产生更多有效标注数据。

GPT-4

➢ 推理能力显著提升,建立可预测的训练框架

➢ 可支持多模态信息的大语言模型

GPT-4 Technical Report, Arxiv 2023

GPT-4o

➢ 原生多模态模型,综合模态能力显著提升

➢ 支持统一处理和输出文本、音频、图片、视频信息

o系列模型

➢ 推理任务上能力大幅提升

➢ 长思维链推理能力

o-series

➢ 类似人类的"慢思考"过程

1.3.2DeepSeek 系列模型的技术演变

DeepSeek系列模型发展历程

➢ 训练框架:HAI-LLM

➢ 语言大模型:DeepSeek LLM/V2/V3、Coder/Coder-V2、Math

➢ 多模态大模型:DeepSeek-VL

➢ 推理大模型:DeepSeek-R1

DeepSeek 实现了较好的训练框架与数据准备

➢ 训练框架 HAI-LLM(发布于2023年6月)

➢ 大规模深度学习训练框架,支持多种并行策略

➢ 三代主力模型均基于该框架训练完成

➢ 数据采集

➢ V1和Math的报告表明清洗了大规模的Common Crawl,具备超大规模数据处理能力

➢ Coder的技术报告表明收集了大量的代码数据

➢ Math的技术报告表明清洗收集了大量的数学数据

➢ VL的技术报告表明清洗收集了大量多模态、图片数据

DeepSeek 进行了重要的网络架构、训练算法、性能优化探索

➢ V1 探索了scaling law分析(考虑了数据质量影响),用于预估超参数性能

➢ V2 提出了MLA高效注意力机制,提升推理性能

➢ V2、V3都针对MoE架构提出了相关稳定性训练策略

➢ V3 使用了MTP(多token预测)训练

➢ Math 提出了PPO的改进算法 GRPO

➢ V3详细介绍Infrastructure的搭建方法,并提出了高效 FP8 训练方法

DeepSeek-V3

➢ 671B参数(37B激活),14.8T训练数据

➢ 基于V2的MoE架构,引入了MTP和新的复杂均衡损失

➢ 对于训练效率进行了极致优化,共使用 2.788M H800 GPU时

DeepSeek-R1

DeepSeek-V3和DeepSeek-R1均达到了同期闭源模型的最好效果

➢ 开源模型实现了重要突破

为什么 DeepSeek 会引起世界关注

➢ 打破了OpenAI 闭源产品的领先时效性

➢ 国内追赶GPT-4的时间很长,然而复现o1模型的时间大大缩短

➢ 达到了与OpenAI现有API性能可比的水平

Large Language Model, 2025 (Book under progress)

为什么 DeepSeek 会引起世界关注

➢ 中国具备实现世界最前沿大模型的核心技术

➢ 模型开源、技术开放

参考:【大模型】GPT: Improving Language Understanding by Generative Pre-Training
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了

相关推荐
火星数据-Tina16 分钟前
体育赛事大数据分析:AI模型对足球大小球预测的精度优化
人工智能·机器学习·数据分析
代码猪猪傻瓜coding33 分钟前
【统计学相关笔记】有效估计与一致最小方差无偏估计 (UMVUE)
人工智能·笔记·机器学习
mzgong37 分钟前
DeepSeek-R1深度解读
人工智能·深度学习·算法
AIBigModel41 分钟前
什么是后训练?大语言模型训练后优化方法综述,87页pdf
人工智能·语言模型·pdf
夏白分享社1 小时前
Nanobrowser:开源AI自动化神器 OpenAI Operator替代品
运维·人工智能·自动化
罗西的思考1 小时前
探秘Transformer系列之(13)--- Feed-Forward Networks
人工智能·深度学习·机器学习
GIS数据转换器2 小时前
基于AI智能算法的无人机城市综合治理
大数据·人工智能·科技·gis·无人机·智慧城市
AI技术控2 小时前
计算机视觉算法实战——手势识别(主页有源码)
人工智能·算法·计算机视觉
数据库知识分享者小北2 小时前
《阿里云Data+AI:开启数据智能新时代》电子书上线啦!
人工智能·阿里云·云计算
AORO_BEIDOU2 小时前
防爆手机如何突破“安全与效率“悖论?解析AORO M8的双驱动创新
网络·人工智能·科技·5g·安全·智能手机·信息与通信