文章目录
-
- mamba扫描方式
-
- [Larger Hausdorff Dimension in Scanning Pattern Facilitates Mamba-Based Methods in Low-Light Image Enhancement](#Larger Hausdorff Dimension in Scanning Pattern Facilitates Mamba-Based Methods in Low-Light Image Enhancement)
- mamba用例
-
- mamba与HSI
-
- mambaHSI
- [MambaHSI+: Multidirectional State Propagation for Efficient Hyperspectral Image Classification](#MambaHSI+: Multidirectional State Propagation for Efficient Hyperspectral Image Classification)
- [WaveMamba: Spatial-Spectral Wavelet Mamba for Hyperspectral Image Classification（GRSL）](#WaveMamba: Spatial-Spectral Wavelet Mamba for Hyperspectral Image Classification（GRSL）)
- mamba与小波变换
-
- [*****A Wavelet-Augmented Dual-Branch Position-Embedding Mamba Network for Hyperspectral Image Change Detection(动态状态空间 + 小波多尺度频率分解+对比损失）（光谱用mamba，空间用小波卷积）](#*****A Wavelet-Augmented Dual-Branch Position-Embedding Mamba Network for Hyperspectral Image Change Detection(动态状态空间 + 小波多尺度频率分解+对比损失）（光谱用mamba，空间用小波卷积）)
- [*****WaveMamba: Spatial-Spectral Wavelet Mamba for Hyperspectral Image Classification（GRSL，推理源码，光谱与空间都用mamba）](#*****WaveMamba: Spatial-Spectral Wavelet Mamba for Hyperspectral Image Classification（GRSL，推理源码，光谱与空间都用mamba）)
- [WMamba: Wavelet-based Mamba for Face Forgery Detection](#WMamba: Wavelet-based Mamba for Face Forgery Detection)
- [IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model](#IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model)
- [Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement](#Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement)
- [CWNet: Causal Wavelet Network for Low-Light Image Enhancement（小波卷积+傅里叶卷积+mamba）](#CWNet: Causal Wavelet Network for Low-Light Image Enhancement（小波卷积+傅里叶卷积+mamba）)
mamba扫描方式
Larger Hausdorff Dimension in Scanning Pattern Facilitates Mamba-Based Methods in Low-Light Image Enhancement
论文：http://arxiv.org/pdf/2510.26001v1
网文：https://mp.weixin.qq.com/s/fggWyYGD1oXd4V8GzRFFWQ
Mamba在视觉任务中面临着一个根本性挑战：它原本是为一维序列数据设计的，而图像是二维的。直接将二维图像转换为一维序列会丢失重要的空间信息。
Hausdorff维数：衡量扫描模式复杂性的新方法
研究人员引入了一个全新的概念------Hausdorff维数，来评估扫描路径捕捉图像复杂模式的能力。
与传统的整数维度不同，Hausdorff维数可以是分数，这使它特别适合描述那些"不规则"的复杂形状。
在Mamba的扫描模式中，Hausdorff维数直接反映了扫描曲线的内在复杂性。较高的Hausdorff维数意味着扫描路径不是简单平滑的轨迹，而是充满了复杂的细节和细微波动。
这种复杂性使得扫描模式能够更有效地感知局部变化，确保不会忽略扫描区域内的精细尺度交互。换句话说，随着Hausdorff维数的增加，扫描轨迹变得更加细致和密集，能够更有效地捕捉局部特征，同时保持Mamba理解长距离依赖关系的能力。
研究人员通过严格的数学分析证明，具有较高Hausdorff维数的扫描模式能够提供更均匀的空间覆盖，从而降低最坏情况下的近似误差。这意味着图像函数能够被更准确地重建，细节保留更加完整。
基于Hausdorff维数的理论洞察，研究人员提出了两种革命性的扫描方法：Hilbert扫描和Peano扫描。这两种方法都利用了具有Hausdorff维数为2的空间填充曲线。(什么是空间填充曲线？想象一下，你要用一根连续的线填满整个正方形区域，而且这根线不能交叉。Hilbert曲线和Peano曲线就是这样的神奇曲线！)
在实际实现中，HilbertMamba和PeanoMamba基于现有的WaveMamba框架，仅替换了扫描策略。这种设计使得它们能够无缝集成到现有的Mamba架构中，无需大幅修改模型结构，从而保持了计算效率。
mamba用例
mamba与HSI
mambaHSI
为解决高光谱图像（HSI）分类中CNN 局部感受野局限与Transformer 二次计算复杂度的问题，同时弥补 Mamba 模型对 HSI 空谱信息融合不足的缺陷，研究者提出首个基于状态空间模型（SSM）的图像级 HSI 分类模型MambaHSI。该模型以线性计算复杂度实现全图像长距离依赖建模，通过SpaMB（空间 Mamba 块） 提取像素级空间长距离特征、SpeMB（光谱 Mamba 块） 挖掘光谱组间关系、SSFM（空谱融合模块） 自适应融合空谱信息，并引入残差学习优化训练。
- SpaMB（空间 Mamba 块）：
设计逻辑：HSI 分类需像素级精细特征，故采用 "展平（像素级序列）→Mamba→残差" 流程，直接建模全图像像素间长依赖； - SpeMB（光谱 Mamba 块）：
设计逻辑：HSI 光谱具连续性，将光谱向量分为 G 组（实验中 G=4），通过 Mamba 挖掘组间关联，而非单一序列建模； - SSFM（空谱融合模块）：
设计逻辑：空谱信息对 HSI 分类互补但重要性不同，需动态适配；
优势：通过可学习权重自适应分配空谱贡献
文中明确提到，MambaHSI 是 "首个基于 SSM 的图像级 HSI 分类模型"，其设计是 "以整幅图像为输入，通过一次前向传播获得全图所有像素的预测"，且分类目标是 "像素级精细特征建模"（对应逐像素分类）。
本文所提的方法，输入是整幅图像，经过各个模块的运算后，是一次性输出各个像素的分类吗？如果是，是如何得到的？
是的，MambaHSI 输入整幅 HSI 后，通过一次前向传播就能一次性输出所有像素的分类结果，无需后续映射步骤，核心是模型全程保持像素级空间维度一致性，最终通过分割头直接生成与输入图像同尺寸的像素级类别预测 。而分割头很简单："Segmentation head adopts convolutional layer with 1×1 kernel size to obtain the final logits l"
关键实现流程（从整图输入到像素级输出）：
- 输入层：保持整图空间结构输入为原始整幅 HSI，维度为 I ∈ R H × W × C I \in R^{H×W×C} I∈RH×W×C（H = 高度、W = 宽度、C = 光谱通道数），不进行任何 patch 分割，完整保留像素的空间位置关系和光谱连续性。
- 嵌入层：像素级特征投影（保持空间维度）通过 "1×1 卷积 + 组归一化（GN）+SiLU 激活"，将每个像素的光谱向量（长度 C）投影为固定维度 D 的嵌入向量，输出 E ∈ R H × W × D E \in R^{H×W×D} E∈RH×W×D。关键：嵌入后仍保持 (H×W) 的空间维度，每个位置对应原始图像的一个像素，为后续像素级预测奠定基础。
- 编码器：特征提取与融合（空间维度不变）编码器的 SpaMB、SpeMB、SSFM 模块均在保持 (H×W) 空间结构的前提下处理特征，仅对维度进行临时重组，未破坏像素位置对应关系：
SpaMB（空间特征提取）：先将 E 展平为 (B×L1×D)（(L1=H×W)，像素级序列），经 Mamba 建模长距离空间依赖后，通过 Reshape 还原为 (B×H×W×D)，再叠加残差连接。
SpeMB（光谱特征提取）：将每个像素的嵌入向量分为 G 组（(B×H×W×G×M)，(M=D/G)），展平为 (N×G×M)（(N=B×H×W)），经 Mamba 挖掘光谱组间关系后，Reshape 还原为 (B×H×W×D)，叠加残差连接。
SSFM（空谱融合）：对 SpaMB 和 SpeMB 的输出（均为 (B×H×W×D)）进行自适应权重融合，输出融合特征 H f u s ∈ R H × W × D H_{fus} \in R^{H×W×D} Hfus∈RH×W×D，仍保持像素级空间维度。- 分割头：像素级分类 logits 输出采用 1×1 卷积层对融合特征 H_{fus}进行维度转换，将每个像素的 D 维特征映射为 K 维 logits（K 为类别数），输出 l ∈ R H × W × K l \in R^{H×W×K} l∈RH×W×K。此时 logits 的空间维度仍为 (H×W)，每个位置 l h , w l_{h,w} lh,w对应原始图像第 (h,w) 个像素的 K 类预测分数。
MambaHSI+: Multidirectional State Propagation for Efficient Hyperspectral Image Classification
MambaHSI+ 作为 MambaHSI 的进阶版本，针对其单向状态传播无法捕捉双向空谱依赖、光谱建模粒度粗、通道权重无差异 三大核心局限，通过 双向空间建模、光谱轨迹学习（STL）、Mamba 增强通道注意力 三大创新模块实现性能突破，在四大数据集上平均精度（AA）较 MambaHSI 提升 2.51%，同时保持线性计算复杂度，兼顾精度与效率。
- 改进 1：反向双向上下文建模（RBCM）------ 解决单向空间依赖建模不足
MambaHSI 的 SpaMB 仅通过单向行 / 列扫描（如行优先从左到右、列优先从上到下）建模空间依赖，无法捕捉反向上下文（如从右到左、从下到上的像素关联），导致边缘像素、跨区域地物的空间连续性建模不完整。 - 改进 2：光谱轨迹学习（STL）------ 解决光谱连续性建模粗糙
MambaHSI 的 SpeMB 仅将光谱向量分为固定组数（G=4），通过单向 Mamba 建模组间关系，未考虑光谱波段的动态演化特性（如相邻波段的渐变关联、全波段全局依赖），导致光谱冗余未充分抑制，噪声敏感。 - 改进 3：Mamba 增强通道注意力（MCA）------ 解决光谱通道权重无差异
MambaHSI 的 SSFM 仅通过固定权重融合空谱特征，未考虑不同光谱波段的判别性差异（如植被的 "红边波段" 比近红外波段更具区分性），导致冗余波段干扰有效特征。
WaveMamba: Spatial-Spectral Wavelet Mamba for Hyperspectral Image Classification（GRSL）
https://github.com/mahmad000/WaveMamba
https://arxiv.org/pdf/2408.01231
发表于 IEEE GEOSCIENCE AND REMOTE SENSING LETTERS
mamba与小波变换
*****A Wavelet-Augmented Dual-Branch Position-Embedding Mamba Network for Hyperspectral Image Change Detection(动态状态空间 + 小波多尺度频率分解+对比损失）（光谱用mamba，空间用小波卷积）
网文：https://blog.csdn.net/weixin_47658790/article/details/155282514
源码：https://github.com/xupt-mdmd-ipip/WDP-Mamba
贡献点 1：构建了WDP-Mamba双分支互补架构
提出了一种结合WTConv和Mamba的新型双分支网络。利用Mamba的线性复杂度优势捕捉长距离的光谱-空间依赖关系，同时利用WTConv进行多尺度小波分解以提取频域局部特征。这种交叉分支的特征融合机制确保了全局上下文信息与局部频域细节的互补增强。
贡献点 2：提出了自适应位置残差状态空间块（APRSSB）
为了解决Mamba因序列展平而破坏空间结构的问题，设计了APRSSB。该模块引入了双时相空间-光谱评分机制，通过可学习的位置嵌入动态重新校准区域重要性权重。它能在保持计算效率的同时，有效保留像素间的拓扑关系和光谱波段相关性，从而实现变化边界的精确由定位。
贡献点 3：设计了多级频率感知（MLFA）模块
针对传统卷积难以适应性提取多层次局部变化的局限，提出了基于WTConv的MLFA模块。该模块通过小波变换将图像信息分解为多个频率分量，允许在不同的频率窗口和尺度上进行局部信号分析，从而感知具有代表性的多层次局部特征（如细微纹理和边缘）。
整个 WDP-Mamba 采用孪生（Siamese）网络结构，处理双时相输入。
- 输入与预处理 (Input & Preprocessing)：
输入为两个时相的高光谱图像数据立方体 T 1 T1T1 和 T 2 T2T2。
对每个像素提取 5 × 5 × C 5 \times 5 \times C5×5×C 的邻域Patch作为输入单元。
数据分为两个并行的流进入共享权重的网络分支。 - 双分支特征提取 (Dual-Branch Extraction)：
上分支（局部表示分支）：输入数据 X XX 进入 多级频率感知模块 (MLFA)。该分支包含多个级联的 WTConv 层，负责在不同频率和尺度下提取局部纹理和边缘特征。
下分支（全局建模分支）：输入数据 X XX 进入 自适应位置残差状态空间块 (APRSSB)。该分支利用状态空间机制捕捉长距离依赖，并通过自适应位置嵌入修复空间结构。 - 特征融合与输出 (Fusion & Output)：
两个分支提取的特征分别计算对比损失（Contrastive Loss） （聚类中也可以用？）。
最终通过加权策略融合全局和局部特征。
融合后的特征输入到分类器（Classifier），生成最终的二进制变化检测图（CD Map）
核心创新模块详解
-
自适应位置残差状态空间块 (APRSSB)（即插即用模块） ------ 该模块旨在解决 SSM 序列化导致的空间信息丢失问题 。
VSSM 基础建模：
输入特征 X XX 经过 LayerNorm 后进入视觉状态空间模块（VSSM）。VSSM 使用2D选择性扫描机制（2D-SSM），从四个方向（水平、垂直、对角、反十分）扫描图像并展平为序列进行建模。
自适应位置嵌入 (Adaptive Positional Embedding, APE)：
这是该模块的核心创新，位于 VSSM 之后，用于恢复位置相关性。它包含两个并行的权重生成路径：空间权重路径、通道权重路径。
-
多级频率感知模块 (MLFA)（即插即用模块）
该模块利用小波卷积（WTConv）替代普通卷积，以处理非平稳的高光谱信号。
- 小波分解 (Wavelet Decomposition)：
输入特征首先通过 Haar 小波变换被分解为四个子带：低频分量 (L L LLLL) 和三个方向的高频分量（水平 L H LHLH、垂直 H L HLHL、对角 H H HHHH）。这种分解允许模型将全局结构（低频）与局部细节/边缘（高频）显式分离。 - 子带卷积与重构：
对每个分解出的子带分量独立应用卷积操作。高频分量的卷积专注于捕捉边缘变化，低频分量卷积保持结构信息。处理后的分量通过逆小波变换（IWT）进行重构，恢复为原始特征图尺寸。 - 多级级联结构 (Multi-level Cascade)：
如图3所示，模块不仅仅做一次分解，而是采用了级联结构（例如2级、3级、4级、5级分解）。通过不断地"分解-卷积-重构"，并引入残差连接，模型能够自适应地聚合不同频率窗口和尺度的特征。这使得 WDP-Mamba 能够同时感知粗粒度的结构变化和细粒度的纹理差异。
- 小波分解 (Wavelet Decomposition)：
*****WaveMamba: Spatial-Spectral Wavelet Mamba for Hyperspectral Image Classification（GRSL，推理源码，光谱与空间都用mamba）
https://github.com/mahmad000/WaveMamba
https://arxiv.org/pdf/2408.01231
发表于 IEEE GEOSCIENCE AND REMOTE SENSING LETTERS
方法：本文提出了一种名为WaveMamba的新方法，通过将小波变换与空间-光谱Mamba架构结合，提升高光谱成像（HSI）的分类效果。该方法在捕捉局部纹理和全球上下文关系、建模空间-光谱和时间依赖性等方面取得显著进展，在有限数据集上表现出更高的分类准确率和泛化能力。
创新点：
- 通过将小波变换与空间-光谱Mamba架构相结合，WaveMamba有效地捕获局部纹理模式和全局上下文关系。
- WaveMamba通过引入状态空间模型，增强了对时间依赖性以及空间-光谱信息的建模能力。
- 引入空间和光谱门控机制，通过全连接密集层和非线性激活函数，细化空间和光谱标记的表示。
WMamba: Wavelet-based Mamba for Face Forgery Detection
方法：本文提出了一种基于小波的特征提取器WMamba，结合Mamba架构，通过引入动态轮廓卷积（DCConv）和有效利用Mamba捕捉长程空间依赖的能力，最大化小波信息的利用，旨在有效检测面部伪造，并在跨数据集和跨操作评估中取得了SOTA性能。
IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model
方法：研究提出了IRSRMamba，一种创新的红外图像超分辨率模型，通过Mamba框架和小波特征调制模块 来有效处理长程依赖和多尺度特征提取 ，显著提升了红外图像的细节恢复能力，并在多个数据集上表现出色。
Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement
https://github.com/mcpaulgeorge/WalMaFa/tree/master
方法：论文旨在通过提出一种结合通道信息和小波变换的波浪模块（WMB），在低光图像增强中实现较优的性能和低复杂度，克服现有模型在频域信息利用上的不足，并通过实验和用户感知研究验证其在多个数据集上的有效性。
