002大模型基础知识

自回归模型

Autoregressive model ,AR

Decoder only






1.什么是自回归模型?

从左到右侧学习的模型,只能利用上下文的信息。

2.GPT模型的核心架构?

Transformer 的Decoder 模块(去除中间的第二个子层)

3.GPT的预训练任务?

无监督的预训练 和 有监督任务的微调

序列到序列模型

sequence to sequence Model




大模型微调的工作量大部分在: 数据处理。

code is cheap show me your talk

提示词

怎么和大模型对话很重要,得到这些效果和代码

Prompt 提示词工程

RAG向量数据库: milvus

应用开发 RAG 知识库 微调

基础设置 推理优化 国产模型适配 ,国产GPU适配

1.大模型 基座模型开发
2.infra 基础设施,推理框架 国产GPU适配
3.应用开发 RAG知识库 智能体Agent

应用最多!!!


为什么现在的大模型都是 Decoder-only?

双向注意力 和 交叉注意力 的区别? 是Encoder - decoder 连接的时候是交叉注意力

LLM的主要架构类别?

Encoder-Only,Decoder-Only, Encoder--Decoder

Transformer
Encoder-only:
Bert为代表,chatgpt火起来之后,大多数NLP的工作都是围绕Bert展开的
双向注意力机制, 存在低秩问题。
应用场景:完形填空,阅读理解等

Decoder Only:
GPT预测下一个词、生成任务

Encoder-Decoder:需要两套,训练起来比较麻烦

T5, 全能选手, Test-to-text 范式

目前大模型都是Decoder-Only:
工程简洁,训练稳定
涌现,scaling law 足够大的Decoder-only自己能训练出深刻的理解能力

自编码模型的基本原理:

在输入中随机MASK掉一部分单词,根据上下文预测这个词

自回归模型的基本原理:

从左往右学习的模型,只能利用上下文或者下文的信息

序列到序列模型的基本原理:

同时使用编码器和 解码器,它将每个task视为序列到序列的转换/生成


GPT-2


上下文:号称100万,但是也就几十万

主流的闭源模型 10 万 以内 没问题


GPT-2的核心思想是:

当模型的容量非常大且数据量足够丰富时,仅仅靠语言模型的学习便可以完成其他有监督学习的任务,不需要再下游任务微调。



GPT-2模型的特点:

GPT-2

zero-shot新范式

pre-train+fine tuning

模型架构调整 LN层前置,所有Decoder输出后再加一层LN

GPT-3模型



GPT-3

few shot,one-shot, 举一个,几个例子,配合Prompt提示词 in context learning

sparse attention

相关推荐
2025年一定要上岸4 分钟前
【Django】-10- 单元测试和集成测试(下)
数据库·后端·python·单元测试·django·集成测试
用户5769053080120 分钟前
Python实现一个类似MybatisPlus的简易SQL注解
后端·python
程序猿小郑31 分钟前
文本转语音(TTS)脚本
python
reasonsummer40 分钟前
【教学类-52-17】20250803动物数独_空格尽量分散_只有一半关卡数(N宫格通用版3-10宫格)0图、1图、2图、6图、有答案、无答案 组合版24套
python
数据江湖1 小时前
进阶版:Python面向对象
python·元类·单例类·抽象基类·属性封装·可迭代对象、迭代器、生成器
上官鹿离2 小时前
Selenium教程(Python 网页自动化测试脚本)
python·selenium·测试工具
都叫我大帅哥2 小时前
当AI遇上话痨:LangGraph的`trim_messages`裁剪艺术完全指南
python·langchain·ai编程
都叫我大帅哥2 小时前
RNN:当神经网络有了记忆,却得了健忘症
python·深度学习
mit6.8243 小时前
[自动化Adapt] 父子事件| 冗余过滤 | SQLite | SQLAlchemy | 会话工厂 | Alembic
python·算法·自动化
2025年一定要上岸3 小时前
【Django】-7- 实现注册功能
后端·python·django