传统注意力SMSA,吧语义层级拆开,不同含义的层级,用轻量化的卷积吧每块的语义提取出来,
2、PCSA,在将分开的语义特征整合起来,去同时解决不同语义的差异,
3、SCSA 的核心是 "多语义空间信息引导通道自注意力
输入特征图(B×C×H×W)→ 经过SMSA 模块(多语义空间注意力)提取不同语义层级的空间特征;
再经过PCSA 模块(渐进式通道自注意力)整合通道特征、缓解语义差异;
最终输出优化后的特征图,实现 "空间语义提取→通道语义整合" 的协同。
关键模块,SMSA, 共享语义空间注意力
核心是维度分解,--多语义的提取
1、对输入特征进行,宽,高,两个信息做平均池化,生成两个1D的序列特征
2、将原有的特图与两个1D 的序列特征进行结合,分解卫多个独立的自特征
对每个自特征使用,多尺度深度可分离卷积,去提取不同层级的语义的层次i信息,
优势:轻量化,使用1D去代替2D卷积,降低计算量
多语义覆盖,通过子特征分解,去捕获不同尺度的空间语义信息
二、核心逻辑:SCSA 的设计目标
SCSA 通过 "空间维度的多语义提取"+"通道维度的渐进式整合",实现两个关键目标:
1.充分利用多语义信息:覆盖不同尺度、不同区域的语义特征;
2.缓解语义差异:避免不同语义特征在整合时的干扰,提升特征质量。
三、总结
这部分内容详细说明了 SCSA 的 "如何实现"------ 通过 SMSA 完成空间语义的多尺度提取,再通过 PCSA 完成通道语义的高效整合,最终实现 "轻量化 + 多语义优化" 的注意力机制,为后续实验中的性能提升提供了技术支撑。
核心:深度可分离1D卷积
将特征图分解为独立的子特征后,对每个子 特征用不同的和大小的深度可分离1D卷积处理
1、两个维度,宽,高,的分别卷积,建模维度间的依赖关系
2、将各组归一化,去区分不同子特征的语义差异,
该策略的优势:在减少冗余计算的同时,增强子特征的语义多样性与区分度。
2、渐进式通道子注意力
轻量化-语义差异环节,
对输入特征做池化和线性投影,生成相应的注意力矩阵,
采用弹头子注意力计算通道的相似性,同时引入通道洗牌增强特征交互
采用平均池化-渐进式压缩,降低计算量,
3、SCSA 的核心创新是 "空间注意力(SMSA)引导通道注意力(PCSA)":
使用SMSA,提取多语义的空间特征卫PCSA提高语义先验,
通过PCSA细化通道特征,利用空间语义信息环节通道差异
形成空间通道,协同流程,避免特征信息丢失,提升注意力精准度
1、SCSA 机制的轻量化卷积、空间注意力生成、通道自注意力实现,以及最终的协同流程,
2、对每个子特征,用核大小为 3/5/7/9 的深度可分离 1D 卷积,分别沿高度(H)和宽度(W)维度提取空间结构信息
3、通过组归一化(GN)替代批量归一化(BN),区分不同子特征的语义差异,避免批量噪声干扰。
轻量化:深度可分离卷积减少计算量;
语义增强:不同核大小覆盖多尺度语义,组归一化强化子特征区分度
基于子特征的空间信息,构建语义感知的空间注意力图:
拼接所有子特征的空间信息,通过组归一化 + Sigmoid 激活,生成沿高度(H)和宽度(W)维度的注意力图;
注意力图与原特征相乘,激活特定空间区域的特征。
三、核心模块 3:渐进式通道自注意力(PCSA)
为缓解通道间语义差异,采用单头自注意力 + 渐进式压缩:
操作逻辑:
先对输入特征池化、线性投影生成 Q/K/V 矩阵;
用单头自注意力计算通道相似性,结合通道洗牌增强子特征交互;
最终将注意力输出与原特征融合,细化通道特征
SCSA 的核心是 "空间注意力引导通道注意力" 的串行流程:
输入特征 → 经 SMSA(轻量化卷积 + 空间注意力)提取多语义空间特征;
空间特征 → 输入 PCSA(通道自注意力),利用空间语义先验细化通道特征;
最终输出优化后的特征图,即 SCSA(X) = PCSA(SMSA(X))。
一、核心一:轻量化卷积,
针对分解后的独立子特征,深度可分离1D卷积+归一化策略
逻辑,针对每个子特征,使用摸不同尺度的深度课分离1D卷积,,分别用高,宽吗,两个维度的去提取空间结构信息
优势轻量化,深度可分离卷积,降低计算量
语义增强,不同核大小覆盖多尺度语义,归一化强化子特征的区分度
二、核心二:空间注意力图生成
基于子特征的空间信息,构建语义感知的空间注意力,