模型的参数量、计算量、延时等的关系

模型的参数量、计算量、延时等的关系

基本概念

1.参数量:Params

2.计算量:FLOPs,Floating Point Operations,浮点运算次数,用来衡量模型计算复杂度。

3.延时:Latency

4.内存访问成本: MAC,memory access cost,存储模型所需的存储空间。

例如某个模型需要256000个浮点参数定义,转化为bit 乘以32得8192000bit,再除8转化为Byte,1024KB,也就是1M,那么这个模型大小约为1M。

5.乘加运算次数:MACs,multiply and accumulate operations,通常MACs=2FLOPs

6.每秒浮点运算次数:FLOPS,Floating Point Operations Per Second,是一个衡量硬件速度的指标。

7.每秒万亿次操作:TOPS,Tera Operations Per Second,1TOPS代表处理器每秒钟可进行一万亿次(10^12)操作,是处理器运算能力单位。

注意:区分FLOPs和FLOPS。

相互关系

1.相同 FLOPs 的两个模型,它们的延时可能会差很多。因为 FLOPs 只考虑模型总的计算量,而不考虑内存访问成本 (memory access cost, MAC) 和并行度 (degree of parallelism)。

2.在相同的 FLOPs 下,MAC 大的模型将具有更大的延时。

3.计算量有时候可以忽略,但是MAC却不能忽略。比如Add 或 Concat 的计算量可以忽略不计。

4.对于并行度而言,在相同的 FLOPs 下,具有高并行度的模型可能比另一个具有低并行度的模型快得多。

5.更高的 FLOPS可能 Params 会降低,比如当模型使用共享参数时。

代码计算

参数量Params:

复制代码
params = sum(p.numel() for p in model.parameters())
print(f"params: {params/(1000 * 1000):.4f} M")

计算量FLOPs:

复制代码
from thop import profile
flops, _ = profile(model, inputs=(image_tensor))
print("GFLOPs:", flops/(1000*1000*1000))

乘加运算次数MACs:

复制代码
from ptflops import get_model_complexity_info
macs, params = get_model_complexity_info(image_model, (3,224,224), as_strings=True, print_per_layer_stat=True)

打印模型结构:

复制代码
from torchsummary import summary
summary(image_model, input_size=(3, 224, 224))
相关推荐
wuqingshun3141591 小时前
蓝桥杯 冶炼金属
算法·职场和发展·蓝桥杯
jndingxin3 小时前
OpenCV CUDA模块光流计算-----实现Farneback光流算法的类cv::cuda::FarnebackOpticalFlow
人工智能·opencv·算法
编程绿豆侠3 小时前
力扣HOT100之栈:394. 字符串解码
java·算法·leetcode
朝朝又沐沐3 小时前
基于算法竞赛的c++编程(18)string类细节问题
开发语言·c++·算法
爱coding的橙子4 小时前
每日算法刷题Day27 6.9:leetcode二分答案2道题,用时1h20min
算法·leetcode·职场和发展
GalaxyPokemon4 小时前
LeetCode - 3. 无重复字符的最长子串
算法·哈希算法·散列表
a.3024 小时前
C++ 时间处理指南:深入剖析<ctime>库
数据结构·c++·算法
亮亮爱刷题4 小时前
算法刷题-回溯
算法
Neil今天也要学习5 小时前
永磁同步电机无速度算法--自适应龙贝格观测器
算法