365打卡第J7周:对于ResNeXt-50算法的思考

🏡 我的环境:

语言环境:Python3.10

编译器:Jupyter Lab

深度学习环境:torch==2.5.1 torchvision==0.20.1

------------------------------分割线---------------------------------

该代码定义了一个残差单元,包含以下部分:

  1. 捷径连接(shortcut)处理
  2. 主路径的三层卷积层结构
  3. 分组卷积的实现
  4. 最终的残差连接和激活

这部分代码在功能上没有问题,但有一个需要注意的点:

主路径的最后一层卷积输出通道数是filters * 2,这与捷径分支的通道数保持一致(当conv_shortcut=True时)。这是正确的设计,保证了两个分支可以相加。

分析一下潜在的通道数和尺寸匹配问题:

  1. 当conv_shortcut=True时:

    • shortcut分支:输出通道数为filters * 2
    • 主路径:最终输出通道数也为filters * 2
    • 尺寸变化:shortcut使用strides参数调整尺寸
  2. 当conv_shortcut=False时:

    • shortcut直接使用输入x
    • 则直接将输入张量 x 作为快捷连接。
    • 在这种情况下,即使通道数不一致也不会报错的可能原因如下:此时,shortcut 的维度不同于 x 的维度。但是,由于 Add 层具有广播机制,因此会自动对两个输入进行广播,以使它们的维度相同。这是因为 Add 层会在计算中使用广播机制,这使得在执行相加操作之前,较小张量的形状会被扩展以匹配较大张量的形状。具体来说,如果 shortcut 的形状是 (h, w, c1),x 的形状是 (h, w, c2),其中 c1 不等于 c2,则 shortcut 会被自动扩展为 (h, w, c2),使得 x 和 shortcut 的形状相同。因此,即使通道数不一致,也可以进行相加操作。
相关推荐
是main不是漫7 小时前
【快慢指针 | LeetCode202 快乐数】鸽巢原理佐证环特性,快慢指针巧解快乐数
c语言·开发语言·c++·算法
Felven8 小时前
A. Iskander and Drawings
算法
Wellijohn8 小时前
我把公司内部的 12 个 CRUD 接口交给了 AI Agent,然后省出了两周
人工智能·python·mcp
2601_9679801110 小时前
python pytest怎样测试代码
python·pytest·测试·文档·断言
伞伞悦读10 小时前
【第92期】逻辑回归的分数概率与阈值的实验与排查
人工智能·python·深度学习·机器学习
ch62311 小时前
🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南
python
qq_3482318511 小时前
大模型算法: 反向传播
算法
摇滚侠11 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
电科_银尘11 小时前
【大模型算法与工程 27】训练配方:批量、学习率、精度与梯度裁剪
学习·算法·机器学习
Thanks_ks12 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp