大模型基础架构

Transformer

设计者：Google

特点：最流行，几乎所有大模型都用它

代码：https://github.com/openai/finetune-transformer-lm/blob/master/train.py

RWKV

设计者：PENG Bo

特点：可并行训练，推理性能极强，适合在端侧使用

代码：https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v5

https://www.rwkv.com/

Mamba

设计者：CMU&Princeton University

特点：性能更佳，尤其适合长文本生成

代码：https://github.com/state-spaces/mamba