【机器学习300问】101、1x1卷积有什么作用?

卷积神经网络最重要的操作就是卷积层的卷积操作,之前文章中介绍过,卷积核filter往往都是3x3或者5x5什么的,但有一种非常特殊的卷积------1x1卷积。他在CNN中扮演着非常重要的角色。

一、通道维度的降维/升维

这是1x1卷积最显著的作用之一。通过应用具有较少输出通道的1x1卷积层,可以有效减少网络中的参数数量,从而降低模型的复杂度并帮助防止过拟合。相反,如果使用具有更多输出通道的1x1卷积,则可以增加特征图的深度,为网络引入更多的非线性,增强其表达能力。
通道数192降维至32

二、计算通道间的组合权重

1x1卷积,虽然没有空间维度上的滑动(因为核大小为1x1),但它依然在通道维度上操作。想象一下,如果你的输入特征图有C个通道,那么一个1x1卷积层中的每个卷积核也将有C个权重,对应于输入的每一个通道。这些权重可以被视为对输入通道的一种加权组合方式。有助于捕捉更高级别的特征交互。
对输入的不同特征进行线性组合

相关推荐
XX風17 分钟前
3.3 GMM (高斯混合模型)
人工智能·算法·机器学习
zy_destiny34 分钟前
【工业场景】用YOLOv26实现8种道路隐患检测
人工智能·深度学习·算法·yolo·机器学习·计算机视觉·目标跟踪
(; ̄ェ ̄)。37 分钟前
机器学习入门(二十)支持向量机SVM
人工智能·机器学习·支持向量机
铁手飞鹰39 分钟前
[深度学习]Vision Transformer
人工智能·pytorch·python·深度学习·transformer
weixin_3954489144 分钟前
average_weights.py
pytorch·python·深度学习
香芋Yu44 分钟前
【深度学习教程——02_优化与正则(Optimization)】09_为什么Dropout能防止过拟合?正则化的本质
人工智能·深度学习
AI_56781 小时前
Git冲突治理白皮书:智能标记与可视化协同的下一代解决方案
大数据·人工智能·git·机器学习
皮肤科大白1 小时前
超轻量SAM模型部署:ONNX量化与Transformer剪枝全攻略
深度学习·transformer
weixin_509138341 小时前
探索智能体认知动力学:几何视角下的AI革命(系列博客第二期)
人工智能·机器学习·语义空间
Loo国昌1 小时前
【大模型应用开发】第三阶段:深度解析检索增强生成(RAG)原理
人工智能·后端·深度学习·自然语言处理·transformer