深度学习中的FLOPs补充

学习了博主的介绍(深度学习中的FLOPs介绍及计算(注意区分FLOPS)-CSDN博客)后,对我不理解的内容做了一点补充。 链接放到下边啦

https://blog.csdn.net/qq_41834400/article/details/120283103

FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。

1 全连接网络中FLOPs的计算 博主说的很详细了就不介绍了

2 解释一下CNN中FLOPs的计算中 我不理解的地方

生成输出特征图的一个通道的 一个像素点的计算过程

对于每个输入通道,我们有次乘法 和 次加法。因此,单个输入通道的计算次数为:次乘法+次加法

注意是卷积核和输入特征图对应元素相乘后 得到的个数,把他们 对应相加的过程!!!!!!

总共的计算次数为:

所有输入通道的计算次数

对于所有 个输入通道,还需要将所有通道的结果相加形成输出的一个通道的特征图。因此,每个输出像素点需要额外的 次加法。因此,总的计算次数为:

也就是博主提到的下边这个过程

若考虑到偏置,可以看看卷积操作中,偏置是怎么起作用的,参考这个博主的

https://blog.csdn.net/qq_42103167/article/details/105056598?spm=1001.2014.3001.5506

(每个卷积核是和输入特征图的通道是一样的!!!)偏置是在输出特征图的每个像素点的卷积操作完成后(比如三通道,三次卷积操作后),加上的。所以一次卷积操作偏置加1。

整个输出特征图的计算次数

所有输出通道的计算次数

由于有 个输出通道,因此总的计算次数为:

卷积层FLOPs的计算公式如下(不考虑bias时有-1,有bias时没有-1):

感觉博主推荐的链接也不错 ,有空看看

(60 封私信 / 82 条消息) CNN 模型所需的计算力(flops)和参数(parameters)数量是怎么计算的? - 知乎 (zhihu.com)

分享一个FLOPs计算神器 - 简书 (jianshu.com)

我们可以发现,具有相似的FLOPs的网络,执行的速度却不一样 。有的相差还挺大。

使用FLOP作为计算复杂度的唯一指标是不充分的。

为什么不能只用FLOPs作为指标呢?

作者认为有如下几个原因:

  1. FLOPs没有考虑几个对速度有相当大影响的重要因素。 2)计算平台的不同。

  2. FLOPs没有考虑几个对速度有相当大影响的重要因素

    MAC和并行度

链接:https://www.jianshu.com/p/b1ceaa7effa8

CNN解说员 (poloclub.github.io)

相关推荐
火山引擎开发者社区6 小时前
技术速递|使用 GitHub Copilot CLI 构建 Emoji 列表生成器
人工智能
codefan※6 小时前
干掉“幻觉“实战:如何构建企业级知识图谱增强 RAG
人工智能·知识图谱
wukangjupingbb7 小时前
传统基于药物 SMILES 序列和蛋白质氨基酸序列的 DTI(Drug-Target Interaction)预测方法的缺陷
人工智能
沪漂阿龙7 小时前
Codex 额度重置周期变化:AI 编程免费试玩时代正在结束
人工智能
TickDB7 小时前
美股行情 API 接入避坑:REST 快照、WebSocket 推送、盘前盘后数据的边界
人工智能·python·websocket·行情数据 api
装不满的克莱因瓶7 小时前
深入理解卷积神经网络(CNN)——从原理到代码实践
人工智能·神经网络·cnn
完成大叔7 小时前
模块二,Agent知识图谱的工具链思考
人工智能
lauo7 小时前
ibbot手机发布:搭载poplang技术 + token节点经济,革新AI手机体验
人工智能·智能手机
咖啡星人k8 小时前
云端开发环境技术架构深度解析:从容器隔离到AI Agent集成
人工智能·架构
袋鼠云数栈8 小时前
从前端到基础设施,ACOS 如何打通企业全链路可观测
运维·前端·人工智能·数据治理·数据智能