GoogLeNet的不同版本

  • GoogLeNet 致敬 LeNet

GoogLeNet V1

  • Inception块,增加网络宽度,在卷积操作时可以提取不同尺度特征
  • 利用1×1卷积进行降维,减少参数量
  • 参数量计算:上一层通道数 × 卷积层的长度^2 × 下一层通道数
  • 采用模块化结构Stage
  • 最后进行全局平均池化average pooling能让输入图像大小不用固定
  • 辅助分类器,为训练提供更多梯度信息
  • 将网络模块化三个阶段,每个阶段内部feature map不变,结束后下降样到下个stage,这种模式在后面经常出现,如:resnet,mobilenet,shufflenet等

GoogLeNet V2

  • BatchNormalization(BN):数据归一化,对每个训练的mini-batch做归一化
    • BN使得模型可以使用较大的学习率而不用特别关心诸如梯度爆炸或消失等优化问题;
    • 降低了模型效果对初始权重的依赖;
    • 可以加速收敛,一定程度上可以不使用Dropout这种降低收敛速度的方法,但却起到了正则化作用,提高了模型泛化性;
    • 即使不使用ReLU也能缓解激活函数饱和问题;
    • 能够学习到从当前层到下一层的分布缩放(scaling(方差),shift(期望))系数
  • 问题
    • 网络训练过程中不止学习本层数据,而且要适应上层的分布,这里相当于规定了同一的输入格式,减少适应上层分布的过程。
  • 解决方法:将输入值减均值除上方差,z值化。

GoogLeNet V3

  • 贡献:
    • 提出通用的网络结构设计准则
    • 引入卷积分解提高效率(空间可分离卷积)
    • 引入高效的feature map降维
    • 平滑样本标注
  • 准则:
    • 避免特征表示上的瓶颈,尤其在神经网络的前若干层。(慎用)
      • 如果在网络的浅层35×35×320被降维到17×17×320,会丢失大量信息,后面不可逆。所以对feature map进行降维的同时会对channel进行升维。
    • 特征的数目越多收敛越快(不怎么流行)
      • 增加1×3和3×1激活输出,产生相互解耦的特征表示。
    • 合理压缩特征维度数(通道数),来减少计算量
      • 用1×1的卷积先降维,再特征提取,相邻通道信息比较像
    • 网络的深度和宽度需要等比例的放大和缩小
      • 没有具体给出指导,后期EfficientNet(V1,V2)才填了这个坑
    • "优化"辅助分类器
      • 去掉了
    • 优化池化操作
      • 并行做卷积和池化,然后再合并
    • 优化标签
      • 将one hot标签平滑一点
      • (1-label_smoothing)*one_hot_labels+label_smoothing/num_classes
      • label_smothing = 0.1
      • num_classes = 1000

GoogLeNet V4(不流行,太复杂而且没意义)

  • 以结果为导向,网络解释性不强。
  • 但是融合了残差网络
  • 缺点:人为赋予了模型大量的先验知识

GoogLeNet V5(很简单)

  • Xception
  1. 1×1卷积核在通道维度上进行相乘求和,3*3卷积核在空间维度上做信息处理
  2. 普通卷积同时在通道和空间上进行处理,普通的卷积核是三维的
  3. 先做通道上处理,后做空间上处理
  4. 解耦精度更高,计算量更小
    补充:
  • 如果训练的网络结果不好,不一定是网络结构不好,有可能是超参数不好。如梯度弥散
  • 模型自己学习到的知识比人为赋予的归纳偏置上限更高
  • 古人诚不欺我:大道至简
相关推荐
Debroon2 分钟前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~9 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨10 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画15 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云16 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓26 分钟前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing26 分钟前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
newxtc27 分钟前
【旷视科技-注册/登录安全分析报告】
人工智能·科技·安全·ddddocr
成都古河云28 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
UCloud_TShare30 分钟前
浅谈语言模型推理框架 vLLM 0.6.0性能优化
人工智能