Vlm-GPT简介

语言类的AI的三大类,其中的两个类别分别就是之前说的Bert和下面的GPT

BERT属于 Encoder-only 架构(基于 Transformer 编码器),核心是双向注意力机制 ,天然擅长语义理解类任务,比如文本分类、命名实体识别、语义相似度计算、阅读理解等主要擅长的语义理解。

GPT 属于 Decoder-only 架构(基于 Transformer 解码器),核心是自回归注意力机制 ,天然擅长文本生成类任务,比如内容续写、对话生成、文案创作等

|--------|---------------------|-------------|-----------------------------------|----------|
| 模型 | Transformer 块数量 | 最大上下文长度 | 架构细节 | 核心任务 |
| GPT-1 | 12 层 | 512 tokens | 单块结构:LayerNorm→前馈→LayerNorm→自注意力 | 文本预测 |
| GPT-2 | 48 层 | 1024 tokens | 块结构调整:前馈→LayerNorm→自注意力→LayerNorm | 文本预测 |
| GPT-3 | 96 层 | 2048 tokens | 持 "稀疏 / 密集交替" 注意力(实际以密集为主) | 文本预测 |

相关推荐
bryant_meng13 小时前
ChatGPT Desktop Model Evolution (2025): From GPT-4.1 to GPT-5.1
gpt·chatgpt·gpt4·gpt4o·gpt5
一缕82年的清风14 小时前
谷歌甩出 Gemini 4 Neon:Agent 编程榜登顶第一、缓存仅 $0.15,把刚发的 GPT-6.2 架在火上烤!
gpt·claude·gemini
2301_767113981 天前
GPT-6.2 Astra 和 Sol 发布:真正变化的是长任务成本与交付方式
gpt
zdr尽职尽责1 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
一缕82年的清风1 天前
OpenAI 突发 GPT-6.2:Sol 提速 8 倍跑分追平旗舰,但这 1 处暗改会让缓存直接失效!
gpt·chatgpt
回眸&啤酒鸭2 天前
【回眸】GPT-6.1 Sol 新手快速上手指南
gpt
谙弆悕博士3 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
泓博4 天前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
Eloudy5 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
小小-猿5 天前
从 gpt-6-luna 到第一个 Nexent 智能体:配置、调试与发布
gpt·大模型·智能体·ai智能体·nexent