2026_TIP_image_Restoration
本文整理 2026 年 IEEE Transactions on Image Processing 中图像复原相关论文体现出的先进方法趋势，并重点标注对遥感图像融合、尤其是 pansharpening 可借鉴的方向。
论文方法概览
| 论文题目 | 使用的先进方法 | 方法核心 |
|---|---|---|
| Diagnosing and Improving Vector-Quantization-Based Blind Image Restoration | VQ 先验诊断、连续码本特征、Self-in-Cross-Attention | 针对 VQ 离散 codebook 表达受限和低质图 code index 预测错误问题，引入连续高质量码本表征，并用低质输入增强 codebook，提高盲图像复原保真度。 |
| Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration | CLIP prompt 质量感知、DINO-v2 语义先验、CFE 退化表征、难度自适应感知损失 | 用 CLIP 学习 terrible、mediocre、excellent 三档质量 prompt，感知退化程度；结合 DINO-v2 语义先验和退化特征，实现多退化统一复原。 |
| Global Modeling Matters: A Fast, Lightweight, and Effective Baseline for Efficient Image Restoration | Pyramid Wavelet-Fourier Network | 用小波进行多尺度/多频带分解，用 Fourier 变换替代复杂 self-attention，实现轻量化全局建模。 |
| CDIR: LoRA-Inspired Attention for Efficient Composite Degradation Image Restoration | LoRA-inspired Attention、双分支高低维特征、动态局部/上下文先验 | 借鉴 LoRA 低秩思想设计高效注意力。一支保留全分辨率，一支降低空间/通道维度，并用动态先验适配复合退化。 |
| Frequency-Decomposed Interaction Network for Stereo Image Restoration | 频率分解、双目跨视角交互、deformable convolution、row-wise attention | 将双目图像拆成高频和低频，高频用可变形卷积补细节，低频用跨视角 row-wise attention 建模结构，再进行自适应融合。 |
| Equivariant High-Resolution Hyperspectral Imaging via Mosaiced and PAN Image Fusion | 无监督等变学习、可学习退化函数/SRF、Mosaic/PAN 融合 | 面向 mosaiced LR HSI 与 HR PAN 融合重建 HR HSI。无需 GT 和已知 SRF，将 SRF 设为可学习，并用 transformation equivariance 约束空间-光谱一致性。 |
| Deep LoRA-Unfolding Networks for Image Restoration | 深度展开、LoRA adapter、共享基础 denoiser | 用一个共享 pretrained denoiser 替代每阶段独立 denoiser，并为不同展开阶段插入轻量 LoRA adapter，实现阶段自适应和参数压缩。 |
| IAMAgent: Toward an Interactive and Adaptive Multi-Agent System for Image Restoration | LLM-driven multi-agent system、退化诊断、执行智能体、评价智能体 | 构建交互式图像复原智能体系统。Manager Agent 理解用户语言，Perception Agent 诊断退化，Execution Agents 调用不同复原模型，Critique Agent 做质量评价。 |
| TSFormer: Efficient Ultra-High-Definition Image Restoration via Trusted Min-p | Trusted Min-p sparse attention、随机矩阵理论、UHD 轻量 Transformer | 面向 4K/UHD 图像复原，用 Min-p 保留高置信 token，并结合随机矩阵理论做 trusted filtering，降低计算量并增强鲁棒性。 |
| Complementary Mixture-of-Experts and Complementary Cross-Attention for Single Image Reflection Separation in the Wild | Mixture-of-Experts、双流互补 cross-attention | 根据局部反射复杂度动态分配专家；传输层和反射层之间通过互补 cross-attention 交互，提高野外反射分离能力。 |
| TranIU-Net: Indicative Electrical Tomography Imaging Based on Implicit Unrolling Transformer | 隐式深度展开、Transformer、fixed-point convergence、成像系统先验 | 将 proximal gradient 展开为可训练网络，用隐式映射实现无限深度/常数显存，并利用 Transformer 建模局部和非局部依赖。 |
方法趋势总结
1. Prompt 与大模型感知
代表论文包括 Perceive-IR 和 IAMAgent。核心关键词是 CLIP、DINO-v2、LLM、多智能体、质量感知和退化诊断。
这类方法不再只依赖像素损失，而是引入视觉-语言模型或大视觉模型的感知空间，让模型能够判断图像质量、退化状态或用户意图。
2. 频域与多尺度建模
代表论文包括 Global Modeling Matters 和 Frequency-Decomposed Interaction Network。核心关键词是 Wavelet、Fourier、高低频分解、结构/细节分离。
这类方法强调图像复原中的全局结构和局部细节应分开建模。低频负责结构一致性，高频负责纹理和边缘恢复。
3. 低秩高效适配
代表论文包括 CDIR 和 Deep LoRA-Unfolding。核心关键词是 LoRA、低秩注意力、adapter、参数高效和阶段自适应。
这类方法适合解决大模型或多阶段复原网络参数量过大、训练成本高的问题。通过低秩适配，不同任务或不同阶段可以共享主干，同时保留自适应能力。
4. 物理/退化模型结合深度网络
代表论文包括 Equivariant High-Resolution Hyperspectral Imaging 和 TranIU-Net。核心关键词是可学习退化、SRF、等变约束、深度展开和成像模型。
这类方法更适合遥感、医学成像、电学层析等具有明确成像过程的任务。相比纯黑盒网络，它们更容易解释，也更容易设计有针对性的消融实验。
5. 动态专家与自适应选择
代表论文包括 Reflection Separation 和 IAMAgent。核心关键词是 MoE、专家路由、patch-level adaptation 和人机交互。
这类方法认为不同区域、不同退化类型或不同输入条件不应使用同一种处理策略，而应动态选择专家或处理路径。
对 Pansharpening 最值得借鉴的方向
1. Equivariant HSI/PAN Fusion
这是最直接相关的方向。它涉及 PAN 与光谱图像融合、无监督学习、可学习 SRF/退化函数和空间-光谱一致性约束。
可迁移到 pansharpening 的点包括：
- 学习传感器响应函数或退化函数；
- 用等变约束增强无监督或弱监督训练；
- 在没有高质量 GT 的真实全尺度场景中构造自监督信号；
- 同时约束空间细节和光谱保真。
2. Perceive-IR
它的价值不在于直接检测退化，而在于"质量等级感知"。迁移到 pansharpening 时，可以将退化程度感知改写为 MS 空间缺失程度感知。
可设计为：
- low quality：上采样 LRMS；
- medium quality：传统 pansharpening 或基础网络输出；
- high quality：GT HRMS 或 Wald protocol 下参考图；
- 通过质量 prompt 或遥感质量感知 encoder 判断融合结果离高质量 HRMS 还有多远。
适合形成的创新表述：
将 all-in-one restoration 中的 degradation severity perception 转化为 pansharpening 中的 spatial-resolution gap perception。
3. Deep LoRA-Unfolding / CDIR
这类低秩适配方法适合做高效、可解释的 pansharpening 网络。
可迁移到 pansharpening 的点包括：
- 在深度展开网络中共享主干 denoiser/fusion module；
- 为不同阶段插入 LoRA adapter，学习不同强度的细节注入；
- 用 LoRA-inspired attention 降低 PAN-MS 融合中的注意力计算量；
- 在保持参数量较低的同时提升跨传感器泛化能力。
参考链接
- Perceive-IR: https://house-yuyu.github.io/Perceive-IR/
- VQ-BIR: https://pubmed.ncbi.nlm.nih.gov/41528904/
- FDIN: https://pubmed.ncbi.nlm.nih.gov/41628039/
- HSI-PAN Fusion: https://pubmed.ncbi.nlm.nih.gov/41605160/
- CDIR: https://portal.fis.tum.de/en/publications/cdir-lora-inspired-attention-for-efficient-composite-degradation-/
- Deep LoRA-Unfolding: https://arxiv.org/abs/2602.18697
- TSFormer: https://www.researchgate.net/publication/385920452_TSFormer_A_Robust_Framework_for_Efficient_UHD_Image_Restoration