【机器学习300问】101、1x1卷积有什么作用?

卷积神经网络最重要的操作就是卷积层的卷积操作,之前文章中介绍过,卷积核filter往往都是3x3或者5x5什么的,但有一种非常特殊的卷积------1x1卷积。他在CNN中扮演着非常重要的角色。

一、通道维度的降维/升维

这是1x1卷积最显著的作用之一。通过应用具有较少输出通道的1x1卷积层,可以有效减少网络中的参数数量,从而降低模型的复杂度并帮助防止过拟合。相反,如果使用具有更多输出通道的1x1卷积,则可以增加特征图的深度,为网络引入更多的非线性,增强其表达能力。
通道数192降维至32

二、计算通道间的组合权重

1x1卷积,虽然没有空间维度上的滑动(因为核大小为1x1),但它依然在通道维度上操作。想象一下,如果你的输入特征图有C个通道,那么一个1x1卷积层中的每个卷积核也将有C个权重,对应于输入的每一个通道。这些权重可以被视为对输入通道的一种加权组合方式。有助于捕捉更高级别的特征交互。
对输入的不同特征进行线性组合

相关推荐
CAD老兵6 小时前
量化技术:如何让你的 3D 模型和 AI 模型瘦身又飞快
人工智能·深度学习·机器学习
算法与编程之美6 小时前
探索不同的优化器对分类精度的影响和卷积层的输入输出的shape的计算公式
人工智能·深度学习·机器学习·分类·数据挖掘
大千AI助手6 小时前
微软SPARTA框架:高效稀疏注意力机制详解
人工智能·深度学习·神经网络·llm·大千ai助手·sparta·稀疏注意力机制
云茧6 小时前
机器学习中的Hello World:线性回归(一)
人工智能·机器学习·线性回归
执笔论英雄7 小时前
【大模型训练】zero 学习及deepseed实战
人工智能·深度学习·学习
RWKV元始智能7 小时前
RWKV7-G0a3 13.3B 发布:世界最强纯 RNN 大语言模型
人工智能·机器学习·开源
weixin_307779137 小时前
基于AWS服务的客户服务电话情感分析解决方案
人工智能·深度学习·机器学习·云计算·aws
极客BIM工作室8 小时前
U-Net 的输入与输出:通用场景与扩散模型场景解析
人工智能·深度学习·计算机视觉
哥布林学者8 小时前
吴恩达深度学习课程二: 改善深层神经网络 第一周:深度学习的实践(六)梯度现象和梯度检验
深度学习·ai
盼小辉丶9 小时前
优势演员-评论家(Advantage Actor-Critic,A2C)算法详解与实现
深度学习·keras·强化学习