LLM知识总结

transformer

基础知识：【ML】transformer-CSDN博客

MHA代码：多头自注意力-CSDN博客

熵：熵、交叉熵、KL散度与Softmax-CSDN博客

BN：【代码】BN-CSDN博客

位置编码：【ML】位置编码-CSDN博客，位置编码理解_为什么使用位置编码直接用位置信息-CSDN博客

损失函数：常见损失函数-CSDN博客

AIGC

VAE：理解重参数化-CSDN博客

VQVAE：【VLM】VQVAE_vq-vae-CSDN博客

Diffusion：【VLM】diffusion-CSDN博客，Diffusion理解-CSDN博客

RL

DPO：【LLM】DPO-CSDN博客

GRPO：【LLM】GRPO-CSDN博客

扩展：【LLM】GSPO DAPO-CSDN博客

基础模型

CLIP：CLIP SigLIP-CSDN博客

VideoLLAMA：Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding-CSDN博客

LLAVA：多模态大模型-CSDN博客

VPT：Visual Prompt Tuning (VPT)-CSDN博客

CLIPCAP：ClipCap: CLIP Prefix for Image Captioning-CSDN博客