参数量

LLM - 计算多模态大语言模型的参数量(Qwen2-VL、Llama-3.1) 教程欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/143749468

图说GPT网络结构（参数量与计算量估计）现在AI领域的主流模型几乎都是Transformer网络架构衍生而来。大热的LLM中的生成类模型很多都是来自于Transformer的变体，即decoder only架构。而GPT就是该类中的经典模型。尽管现在变体甚多，但大多没有根本性地改变其套路。

统计神经网络参数量、MAC、FLOPs等信息1、FLOPS是用来衡量硬件算力的指标，FLOPs用来衡量模型复杂度。 2、MAC 一般为 FLOPs的2倍 3、并非FLOPs越小在硬件上就一定运行更快，还与模型占用的内存，带宽，等有关