Transformer
设计者:Google
特点:最流行,几乎所有大模型都用它
代码:https://github.com/openai/finetune-transformer-lm/blob/master/train.py
RWKV
设计者:PENG Bo
特点:可并行训练,推理性能极强,适合在端侧使用
代码:https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v5
Mamba
设计者:CMU&Princeton University
特点:性能更佳,尤其适合长文本生成