深度学习知识点3-CBAM轻量的注意力模块

论文:(2018)包含空间注意力通道注意力 两部分1807.06521https://arxiv.org/pdf/1807.06521

**通道注意力:**对input feature maps每个feature map做全局平均池化和全局最大池化,得到两个1d向量,再经过conv,ReLU,1x1conv,sigmoid进行归一化后对input feature maps加权。

**空间注意力:**对feature map的每个位置的所有通道上做最大池化和平均池化,得到两个feature map,再对这两个feature map进行7x7 Conv,再使BN和sigmoid归一化。

局限性:CBAM是通过对每个位置的多个通道取最大值和平均值来作为加权系数,因此这种加权只考虑了局部范围的信息。

参考:CVPR2021|| Coordinate Attention注意力机制_位置注意力机制-CSDN博客

相关推荐
DisonTangor14 小时前
【小米拥抱开源】小米MiMo团队开源309B专家混合模型——MiMo-V2-Flash
人工智能·开源·aigc
hxxjxw15 小时前
Pytorch分布式训练/多卡训练(六) —— Expert Parallelism (MoE的特殊策略)
人工智能·pytorch·python
Robot侠15 小时前
视觉语言导航从入门到精通(一)
网络·人工智能·microsoft·llm·vln
掘金一周15 小时前
【用户行为监控】别只做工具人了!手把手带你写一个前端埋点统计 SDK | 掘金一周 12.18
前端·人工智能·后端
神州问学15 小时前
世界模型:AI的下一个里程碑
人工智能
zhaodiandiandian15 小时前
AI深耕产业腹地 新质生产力的实践路径与价值彰显
人工智能
古德new15 小时前
openFuyao AI大数据场景加速技术实践指南
大数据·人工智能
youcans_15 小时前
【医学影像 AI】FunBench:评估多模态大语言模型的眼底影像解读能力
论文阅读·人工智能·大语言模型·多模态·眼底图像
dagouaofei15 小时前
PPT AI生成实测报告:哪些工具值得长期使用?
人工智能·python·powerpoint
蓝桉~MLGT15 小时前
Ai-Agent学习历程—— Agent认知框架
人工智能·学习