《大模型的结构》

一、大模型整体结构

一个大模型其实就是:

文本 -> tokenizer(分词器) -> embedding(变成向量) -> Transformer(核心大脑) -> 输出

二、具体步骤

1、文本输入

比如输入:This Paper is interesting

2、分词器(tokenizer)

"This" , "paper" , "is" , "interest" , "ing"

再变成Token ID(每个大模型的Token ID是不一样的):

101,2023,20021,...

3、Embedding

模型不会直接用数字ID,会变成"向量"(一小串数字):101 -> 0.12, -0.98, 0.33, ...

可以简单的理解为:token -> 坐标点(语义空间)

4、Transformer(核心大脑)

这是大模型最重要的部分,它让每个词互相理解对方
核心机制: Self-Attention(自注意力)

比如:The paper is not good,模型会学"good"要注意"not","paper"和"good"有关系,所以每个token都会看其他token

**Transformer结构:**一个Transformer层大概是:Self-Attention -> Feed Forward(小神经网络) -> 重复很多层(比如12层/32层/96层)

GPT-4这种,几十到上百层Transformer

5、输出

不同模型输出不同:
GPT(生成模型): 输入:This paper is 输出:interesting

**BERT(分类模型)**输入:This paper is interesting 输出:accept / reject

三、总结成一个流程图

文本

↓

tokenizer

↓

token IDs

↓

embedding(变向量)

↓

Transformer(理解语义)

↓

输出(预测 / 生成)

四、可以这样理解整个模型

把它想成一个"超级读书人":

1、tokenizer -> 切词

2、embeding -> 理解词的含义

3、attention -> 看上下文

4、多层网络 -> 深度思考

5、输出 -> 给答案

五、BERT vs GPT

BERT GPT
方向 双向(看前后) 单向(只看前)
用途 分类/理解 生成
例子 accept/reject 写review
相关推荐
Dawson Zhu15 分钟前
【分布式训练⑧】通信优化:NCCL、Ring AllReduce与计算通信重叠
人工智能·语言模型·架构·aigc·agi
泯泷27 分钟前
AI Agent 工具设计:给模型装上“手脚”,为什么不能只会调用 API?
人工智能·llm·agent
在所不辞兄32 分钟前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
装不满的克莱因瓶1 小时前
【从零搭建】AI大模型之ReactAgent智能体对接MCP实战
java·人工智能·ai·springai·mcp·springaialibaba
百度Geek说1 小时前
研发Loop的上下文优化与多Agent协作实践
人工智能
七夜zippoe1 小时前
Nexent 模型配置:4 字段与 9 个槽位
数据库·人工智能·模型·nexent
硅农程序猿2 小时前
SOC 物理实现: RTL2GDS 系列(二)—Innovus 初始化
人工智能·嵌入式硬件·硬件架构
梦想很大很大2 小时前
一句“你好”用了 5671 Token:我在 Workrun 中追查 Agent 隐性成本的过程
前端·人工智能·后端
诗句藏于尽头2 小时前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏
依晨照旧2 小时前
从 MQ 积压查出 4000 个线程:不是泄漏,是事件总线的设计代价
人工智能