Transformer 从零开始

资料:

从零开始

环境

bash 复制代码
conda create -n torch python=3.12
conda activate torch

# Install PyTorch (CPU version)
pip install torch torchvision
# Install PyTorch with CUDA (version <= nvidia-smi shown)
#  https://pytorch.org/get-started/locally
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

运行

bash 复制代码
cd start-deep-learning/practice/Transformer
pip install -r requirements.txt
python build_transformer.py

BATCH_SIZE 4, 可以改 32,如果显存够大。我呢,训不太动 😢

进化线

之后是概括,给一些关键词。基此问一下 AI,能得到更好的回答呢。

例如,DeepSeek 归纳了 5 条核心进化线,

如果把大模型比作一辆车:

  • Attention 是 引擎(GQA/MLA 是省油技术);
  • Normalization 是 底盘悬挂(RMSNorm 保证行驶稳定);
  • 激活函数 是 燃油标号(SwiGLU 是高标号汽油);
  • 位置编码 是 导航系统(RoPE 让你知道该去哪);
  • 架构 是 车身设计(Decode-Only 最终统一了赛道)。

这些进化线相互配合,才有了今天又长、又快、又强的 LLM。

架构进化

Encoder-Decoder: 原始,适合 Seq2Seq 任务

Decoder-only (Causal): 当前,经过 Scaling Laws 验证

Attention 进化

KV Cache 优化,

注意力机制 KV Cache 量级 表达能力 核心思想
MHA (多头注意力) 最大 (H) 最强 每个头独立看世界
MQA (多查询注意力) 最小 (1) 较弱 所有人用同一套记忆
GQA (分组查询注意力) 中等 (G) 可控 分组共享,折中之道
MLA (多头潜在注意力) 极小 (≈1) 强 压缩记忆,解耦计算

计算模式优化,

  • Sliding Window Attention (滑动窗口注意力)
  • FlashAttention: 改进 GPU 的访存算法
  • Sparse Attention (稀疏注意力)

位置编码进化

让模型理解顺序,

  • 绝对位置编码
  • 相对位置编码
  • RoPE (旋转位置编码): 当前主流,更好的长度外推
  • ALiBi

激活函数进化

增强非线性,

  • ReLU
  • GeLU
  • SwiGLU

结语

开篇的资料 ① 适合入门,资料 ② 适合实践,都是超级棒的文章,值得学习 👍

相关推荐
Eloudy1 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
高洁013 天前
数据同化与动态状态估计:让孪生持续贴合现实
人工智能·python·深度学习·transformer·迁移学习
一起学安全技术6 天前
拆大模型 03|注意力的一句话版本:不用论文讲清 Attention
深度学习·算法·语言模型·transformer
风巽·剑染春水6 天前
【Generative AI综述】生成式人工智能在医学影像中的应用(ACME-2026)
人工智能·transformer·gan·vae·生成模型·扩散模型·医学影像
机器学习之心6 天前
5 个特征、2 个输出:让 DBO 替 CNN-Transformer 挑结构,再用 SHAP 把黑箱撬开
人工智能·cnn·transformer·cnn-transformer
bryant_meng7 天前
【TNT】《Transformer in Transformer》
人工智能·深度学习·transformer·word embedding·tnt·sentence embed
布吉岛的石头9 天前
Java 程序员第 50 阶段14:灾难性遗忘与回放
人工智能·深度学习·transformer
weixin_468466859 天前
视觉Transformer的“第二次革命”:ViT³如何用测试时训练重构注意力范式
人工智能·深度学习·机器学习·ai·重构·transformer·vit
DevOps老兵10 天前
Transformer拆解13:现代大模型改了什么,RoPE、RMSNorm、SwiGLU与GQA
transformer·gqa·rope·rmsnorm·swiglu
飞猫的边缘AI13 天前
边缘AI芯片的规则变了:从跑CNN到跑LLM和VLM
人工智能·语言模型·cnn·transformer·边缘ai