论文笔记 ICLR 2024 MogaNet: Multi-Order Gated Aggregation Network




配图中有2个分支,一个是subtract的输出和缩放因子(γs)相乘之后的结果,另一个是1×1卷积输出的结果,这两个分支的输出进行element-wise addition,这两个分支的输出分别代表什么?

为什么"增强局部与全局特征的差异性"可以提高识别、检测、分割的性能?

类似地,图中Multi-Order Gated Aggregation中的两个分支Fϕ(·)和Gψ(·),一方面保留了输入的主要信息,另一方面通过Gψ(·)分支增强了多尺度特征。

似乎在特征融合或特征增强的模块设计中,一个分支保留输入的主要信息,另一个分支进行输入特征增强或融合,最后将两个分支的输出进行融合,这种操作非常常见,其设计思想借鉴了残差连接。

然后是Channel Aggregation Block(CA Block)Multi-Order Gated Aggregation Block(Moga Block)的输出可以作为 Channel Aggregation Block(CA Block)的输入。这种设计符合MogaNet的整体结构逻辑,即先通过Moga Block 进行空间维度和上下文特征的多阶交互聚合,再通过CA Block在通道维度上进行自适应的特征重新分配和聚合。具体来说:

1. Multi-Order Gated Aggregation Block 的作用

  • Moga Block 专注于通过不同大小的卷积核(如5×5、7×7)和空洞卷积,捕捉不同空间尺度的特征,并对这些特征进行聚合。它主要处理的是特征的空间维度上下文交互

2. Channel Aggregation Block 的作用

  • CA Block 则进一步处理这些聚合后的特征,重点是对通道维度进行重新分配和自适应加权。它通过通道间的差异性计算(如通过1×1卷积降维、GELU激活和残差加权),优化通道间的特征表达。

3. 输入与输出的关系

  • 在MogaNet的结构中,Moga Block 的输出(经过空间聚合和上下文交互后的特征)会作为CA Block的输入。在CA Block中,模型进一步调整通道间的特征关系,最终生成更具表达力的输出。因此,Moga Block和CA Block在网络中是串联工作的,Moga Block处理空间维度和上下文信息,而CA Block则负责优化通道维度的特征。

4. 总结

  • Moga BlockCA Block 是网络中两个紧密关联的模块。Moga Block 输出的特征经过聚合后会被送入CA Block,在通道维度上进行进一步的优化和处理。这个设计的目的是确保特征在空间和通道两个维度上都能被充分利用和优化。


怎么利用这篇论文提出的模块进行改进?

相关推荐
西柚小萌新1 天前
【论文阅读】--Trust Before Fusion:QIMG‑7 与面向污染多模态 RAG 的源感知信任
论文阅读·人工智能
m4Rk_1 天前
【论文阅读】Agent 记忆机制(72):EMA——在写入前决定什么值得记住
论文阅读·人工智能·学习·开源·github
Rocky Ding*2 天前
一文读懂Hallo数字人核心基础知识
论文阅读·人工智能·深度学习·机器学习·aigc·数字人·ai-native
m4Rk_2 天前
【论文阅读】Agent 记忆机制(67):MemPO——用记忆级信用分配训练 Agent 主动管理长程上下文
论文阅读·人工智能·学习·开源·github
chnyi6_ya2 天前
论文阅读笔记:VBVR-Pro 把「用生成来推理」变成一个可训练、可验证、可优化的闭环
论文阅读·笔记
岁月蹉跎的一杯酒2 天前
ISP 黑电平校正(BLC, Black Level Calibration/Correction)
论文阅读·图像处理·isp
林浩杨_3 天前
SIGIR 2026|南京大学:Video-GAR:“通过生成 Query 来验证视频语义理解”的生成增强范式
论文阅读·人工智能·算法
m4Rk_3 天前
【论文阅读】Agent 记忆机制(70):RecMem——只在记忆反复出现时才调用 LLM 做巩固
论文阅读·人工智能·学习·开源·github
m4Rk_4 天前
【论文阅读】Agent 记忆机制(69):STITCH——用上下文意图解决“语义相关但情境错误”的记忆检索
论文阅读·人工智能·学习·开源·github
Rocky Ding*4 天前
【三年面试五年模拟】2026-09-08 DeepSeek AI Agent开发岗社招一面:20道问题与系统设计题全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·deepseek