技术栈
flops
ariesjzj
3 个月前
gpt
·
llm
·
flops
·
参数量
·
计算量
图说GPT网络结构(参数量与计算量估计)
现在AI领域的主流模型几乎都是Transformer网络架构衍生而来。大热的LLM中的生成类模型很多都是来自于Transformer的变体,即decoder only架构。而GPT就是该类中的经典模型。尽管现在变体甚多,但大多没有根本性地改变其套路。
是暮涯啊
1 年前
人工智能
·
神经网络
·
flops
·
参数量
统计神经网络参数量、MAC、FLOPs等信息
1、FLOPS是用来衡量硬件算力的指标,FLOPs用来衡量模型复杂度。 2、MAC 一般为 FLOPs的2倍 3、并非FLOPs越小在硬件上就一定运行更快,还与模型占用的内存,带宽,等有关