深度学习J7周 对于ResNeXt-50算法的思考

需要解决的疑问:代码是否有误?对错与否给出思考。

打卡要求:请查找相关资料、逐步推理模型、详细写下思考过程

问题:如果conv_shortcut=False,那么执行"x=Add()..."语句时,通道数不一致,为什么不会报错

因为在ResNext50整个模型中,在定义残差单元的时候,将conv_shortcut=False,表示使用identity_shortcut而不是Conv2D层作为快捷链接。

对于定义残差单元block模块,Add()是x和shortcut的加和,x通道数是filters*2.

对于shortcut、conv_shortcut=True则是filters*2,filters*2,否则是原始输入通道数。

对于堆叠残块模块stack模块,第二次调用block,conv_shortcut=False,使用identity_shortcut,这种情况,快捷连接将直接传递输入x给块的最后一层,因此,在执行"x=Add()",快捷连接通道数与该层不一致,但Add()在通道数不同时,会自动对快捷连接进行零填充,所以不会出现不匹配的错误。

相关推荐
mwq3012317 小时前
GPT-2 中的 Pre-Layer Normalization (Pre-LN) 架构详解
人工智能
智奇数美17 小时前
“成本减法”与“效率乘法”——AI智能重构企业通信格局
人工智能·智能手机·信息与通信
技术闲聊DD18 小时前
机器学习(1)- 机器学习简介
人工智能·机器学习
mwq3012318 小时前
GPT-2 中的残差权重初始化
人工智能
mwq3012318 小时前
Transformer : 深度神经网络中的残差连接 (Residual Connection)
人工智能
信田君952718 小时前
瑞莎星瑞(Radxa Orion O6) 基于 Android OS 使用 NPU的图片模糊查找APP 开发
android·人工智能·深度学习·神经网络
StarPrayers.18 小时前
卷积神经网络(CNN)入门实践及Sequential 容器封装
人工智能·pytorch·神经网络·cnn
周末程序猿18 小时前
谈谈上下文工程(Context Engineering)
人工智能
一水鉴天19 小时前
整体设计 逻辑系统程序 之29 拼语言+ CNN 框架核心定位、三阶段程序与三种交换模式配套的方案讨论 之2
人工智能·神经网络·cnn