DAY54 CBAM注意力

目录

[1. 通道注意力模块(Channel Attention Module)复习](#1. 通道注意力模块(Channel Attention Module)复习)

[2. 空间注意力模块(Spatial Attention Module)](#2. 空间注意力模块(Spatial Attention Module))

[3. CBAM 的定义(Convolutional Block Attention Module)](#3. CBAM 的定义(Convolutional Block Attention Module))


1. 通道注意力模块(Channel Attention Module)复习

通道注意力解决的是"看什么" (What) 的问题,即在众多的特征通道中,哪些通道包含更有用的信息。

  • 核心逻辑:

    • 双重池化 :同时使用全局平均池化 (AvgPool) 和全局最大池化 (MaxPool)。平均池化保留全局背景,最大池化捕捉最显著的特征(如强边缘、高亮处)。

    • 共享 MLP:将池化后的向量送入一个共享的全连接层(通常包含降维和升维,以减少参数量),学习通道间的依赖关系。

    • 权重生成 :将两个池化的结果相加,通过 Sigmoid 激活函数生成 0 到 1 之间的权重,最后乘回原始特征图,实现对重要通道的加强和无效通道的抑制。

2. 空间注意力模块(Spatial Attention Module)

空间注意力解决的是"在哪里" (Where) 的问题,即在图像的特征图中,哪些位置(像素点)是关键区域。

  • 核心逻辑:

    • 维度压缩:沿着通道轴进行平均池化和最大池化,把 C 个通道压缩成 2 个通道(一张均值图和一张最大值图)。

    • 特征融合 :将这两张图拼接(Concat),然后使用一个较大的卷积核(如 )进行卷积。大卷积核能提供更大的感受野,帮助模型理解物体的位置关系。

    • 权重生成 :卷积输出经过 Sigmoid 得到空间权重图,覆盖在特征图上,让模型"盯住"重点区域(如猫的头部),忽略背景区域。

3. CBAM 的定义(Convolutional Block Attention Module)

CBAM 是一种轻量级、即插即用的卷积神经网络注意力模块。

  • 定义:它将"通道注意力"和"空间注意力"组合在一起。通过串行的方式(先计算通道注意力,再在结果上计算空间注意力),对特征进行双重强化。

  • 三大特点:

    1. 双重维度:比传统的 SE 模块(仅通道注意力)多了一个空间维度,提升了模型定位目标的能力。

    2. 即插即用:它可以直接插入到任何现有的卷积网络(如 ResNet, MobileNet, YOLO 等)的卷积层之间,无需改变原网络的主体结构。

    3. 高效性:它增加的参数量极少,但在图像分类、目标检测等任务中通常能带来明显的性能提升。

一句话总结:

CBAM 通过通道注意力告诉模型"什么特征重要",再通过空间注意力告诉模型"哪里重要",二者结合让特征表达更加精准。

相关推荐
米小虾15 分钟前
把 40 步压到 8 步:少步生成的三笔账,Qwen-Image-2.1-Turbo 拆给你看
人工智能
Csvn19 分钟前
线上出问题怎么查?一套可复现的排障 SOP(O04)
人工智能·aigc·agent
Raas10019 分钟前
MAI Gateway(魔芋企业级AI网关)能力解析:AI网关能做故障转移吗?AI网关核心功能详解
大数据·人工智能·网关·ai·gateway·mai gateway
米小虾24 分钟前
别再让 LLM 写「置信度:0.8」了:决策模型把判别从生成里拆了出来
人工智能
Dawson Zhu1 小时前
《Agentic Design Patterns》第 9 章导读:学习与适应(Learning and Adaptation)
人工智能·语言模型·架构·aigc·agi
IT研究所1 小时前
AI-ITR平台如何减少客户问题反复升级?
大数据·运维·人工智能·低代码·自然语言处理·安全架构·企微
SEO_juper1 小时前
用 Python 写一个 GEO 可见性检查脚本:你的网站现在能被 AI 引用吗
开发语言·人工智能·爬虫·python·seo·外贸独立站
小易老师AI实战2 小时前
RLHF深度详解(超通俗+原理+工程+对比):大模型对齐的核心基石
人工智能·大模型·sft·rlhf·ppo·人类反馈强化学习·llm 对齐
资深电气设计2 小时前
高压直流母线系统测试是什么?宜迈思液冷直流负载方案技术说明
人工智能
数智工坊2 小时前
视觉SLAM第12讲|地图构建:单目稠密重建、RGB-D点云与八叉树地图全解析
人工智能·深度学习·矩阵·机器人