模型的参数量、计算量、延时等的关系

模型的参数量、计算量、延时等的关系

基本概念

1.参数量:Params

2.计算量:FLOPs,Floating Point Operations,浮点运算次数,用来衡量模型计算复杂度。

3.延时:Latency

4.内存访问成本: MAC,memory access cost,存储模型所需的存储空间。

例如某个模型需要256000个浮点参数定义,转化为bit 乘以32得8192000bit,再除8转化为Byte,1024KB,也就是1M,那么这个模型大小约为1M。

5.乘加运算次数:MACs,multiply and accumulate operations,通常MACs=2FLOPs

6.每秒浮点运算次数:FLOPS,Floating Point Operations Per Second,是一个衡量硬件速度的指标。

7.每秒万亿次操作:TOPS,Tera Operations Per Second,1TOPS代表处理器每秒钟可进行一万亿次(10^12)操作,是处理器运算能力单位。

注意:区分FLOPs和FLOPS。

相互关系

1.相同 FLOPs 的两个模型,它们的延时可能会差很多。因为 FLOPs 只考虑模型总的计算量,而不考虑内存访问成本 (memory access cost, MAC) 和并行度 (degree of parallelism)。

2.在相同的 FLOPs 下,MAC 大的模型将具有更大的延时。

3.计算量有时候可以忽略,但是MAC却不能忽略。比如Add 或 Concat 的计算量可以忽略不计。

4.对于并行度而言,在相同的 FLOPs 下,具有高并行度的模型可能比另一个具有低并行度的模型快得多。

5.更高的 FLOPS可能 Params 会降低,比如当模型使用共享参数时。

代码计算

参数量Params:

复制代码
params = sum(p.numel() for p in model.parameters())
print(f"params: {params/(1000 * 1000):.4f} M")

计算量FLOPs:

复制代码
from thop import profile
flops, _ = profile(model, inputs=(image_tensor))
print("GFLOPs:", flops/(1000*1000*1000))

乘加运算次数MACs:

复制代码
from ptflops import get_model_complexity_info
macs, params = get_model_complexity_info(image_model, (3,224,224), as_strings=True, print_per_layer_stat=True)

打印模型结构:

复制代码
from torchsummary import summary
summary(image_model, input_size=(3, 224, 224))
相关推荐
数据工匠老o9 小时前
数据库没死,业务卡住了:行锁等待、元数据锁、长事务的排查路径
数据库·算法·架构
黑客笔记9 小时前
安全态势感知中的资产失陷排名思考
人工智能·算法·网络安全
青少儿编程课堂12 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:扫描线与线段树求矩形面积并解析
c++·python·算法·bfs·信息学竞赛
电科_银尘12 小时前
【大模型算法与工程 09】SGD、Momentum与AdamW:优化器如何选择
人工智能·算法
货拉拉技术14 小时前
视觉底座:货拉拉OCR的进阶之路
算法
__underline__14 小时前
冷门Python知识点005篇:list.sort( )的排序稳定性,是用0字节额外内存实现的
python·算法
风落青芜16 小时前
数据结构:堆的概念与实现
c语言·开发语言·数据结构·算法
Pniubi20 小时前
01背包类问题-力扣416.分割等和子集
算法·leetcode·职场和发展
罗西的思考1 天前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法