EfficientNet论文笔记

EfficientNet论文笔记

通过NAS平衡了channel,depth,resolution,发现在相同的FLOPs下,同时增加 depth和 resolution的效果最好。

数据集效果小于resolution怎么办?

EfficientNet---b0框架

表格中每个MBConv后会跟一个数字1或6,这里的1或6就是倍率因子n,即MBConv中第一个 1x1的卷积层会将输入特征矩阵的channels扩充为n倍 ,其中k3x3或k5x5表示MBConv中Depthwise Conv所采用的卷积核大小。Channels表示通过该Stage后输出特征矩阵的Channels。

MBConv结构

Swish激活函数+SE模块

  1. 第一个升维的1x1卷积层,它的卷积核个数是输入特征矩阵channel的n倍,当n等于1不需要该层。
  2. 仅当输入MBConv结构的特征矩阵与输出的特征矩阵shape相同时才使用。在源码实现中只有使用shortcut的时候才有Dropout层。

SE模块:

第一个激活函数替换成Swish激活函数

其他版本的详细参数:

  1. input_size代表训练网络时输入网络的图像大小
  2. width_coefficient代表channel维度上的倍率因子,比如在 EfficientNetB0中Stage1的3x3卷积层所使用的卷积核个数是32,那么在B6中就是 32 × 1.8 = 57.6接着取整到离它最近的8的整数倍即56,其它Stage同理(加速运算)。
  3. depth_coefficient代表depth维度上的倍率因子(仅针对Stage2到Stage8),比如在EfficientNetB0中Stage7的 Li=4,那么在B6中就是 4(block) × 2.6 = 10.4 接着向上取整即11
  4. drop_connect_rate是在MBConv结构中dropout层使用的drop_rate,
  5. dropout_rate是最后一个全连接层前的dropout层(在stage9的Pooling与FC之间)的dropout_rate。

强化学习

相关推荐
图灵学术计算机论文辅导11 小时前
特征融合+目标检测!3篇CVPR新作把多模态目标检测拉高10个mAP
论文阅读·人工智能·考研·机器学习·计算机视觉·目标跟踪·信息与通信
Nina_71712 小时前
AI论文阅读方法+arixiv
论文阅读·人工智能
王上上13 小时前
【论文阅读53】-CNN-LSTM-滑坡风险随时间变化研究
论文阅读·cnn·lstm
s1ckrain1 天前
【论文阅读】ON THE ROLE OF ATTENTION HEADS IN LARGE LANGUAGE MODEL SAFETY
论文阅读·人工智能·语言模型·大模型安全
UQI-LIUWJ2 天前
论文笔记:Tuning Language Models by Proxy
论文阅读·人工智能·语言模型
钟屿3 天前
Multiscale Structure Guided Diffusion for Image Deblurring 论文阅读
论文阅读·图像处理·人工智能·深度学习·计算机视觉
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | NoCode-bench:评估LLM无代码功能添加能力的新基准
论文阅读·人工智能·软件工程
莫彩3 天前
【大模型论文阅读】2503.01821_On the Power of Context-Enhanced Learning in LLMs
论文阅读·人工智能·语言模型
王上上3 天前
【论文阅读51】-CNN-LSTM-安全系数和失效概率预测
论文阅读·cnn·lstm
有Li4 天前
弹性网:基于神经网络的多组分磁共振弹性成像波反演与不确定性量化|文献速递-医学影像算法文献分享
论文阅读·医学生