技术栈
flops
ariesjzj
2 个月前
gpt
·
llm
·
flops
·
参数量
·
计算量
图说GPT网络结构（参数量与计算量估计）
现在AI领域的主流模型几乎都是Transformer网络架构衍生而来。大热的LLM中的生成类模型很多都是来自于Transformer的变体，即decoder only架构。而GPT就是该类中的经典模型。尽管现在变体甚多，但大多没有根本性地改变其套路。
是暮涯啊
1 年前
人工智能
·
神经网络
·
flops
·
参数量
统计神经网络参数量、MAC、FLOPs等信息
1、FLOPS是用来衡量硬件算力的指标，FLOPs用来衡量模型复杂度。 2、MAC 一般为 FLOPs的2倍 3、并非FLOPs越小在硬件上就一定运行更快，还与模型占用的内存，带宽，等有关