TPAMI 2026
HIMO
跨模态图像不变特征匹配
可见光、红外、SAR、深度图、地图.........
那么它们就来自于两个完全不同的传感器，能不能用一个稳定的特征来匹配呢？
HIMO 不再继续扩大网络规模了，而是回到了一个非常"物理"的线索上：
跨模态会改变，但是主要结构的方向一般还是在
核心信息
论文：HIMO: Cross-Arbitrary-Modality Image Invariant Feature Transform With Hierarchical Intrinsic Major Orientation
作者：Chenzhong Gao, Wei Li*, Desheng Weng, Ran Tao, Xiang-Gen Xia, Qian Du
单位：北京理工大学 / 空天智能信息处理全国重点实验室；University of Delaware；Mississippi State University
论文链接：
https://ieeexplore.ieee.org/document/11435911/
代码链接：
https://github.com/MrPingQi/HIMO_ImgMatching
HIMO 希望使用同一种方式来覆盖 Optical、IR、SAR、Depth、Map 等各种来源。
从固定的模态对开始，再到"任意模态"
仅仅进行VIS-IR或者Optical-SAR这样的对比分析，模型仍然可以围绕着这对数据来学习"如何消除差异"。但是HIMO面向的是更加开放的场景：VIS、IR、SAR、Depth、Map等等各种各样的来源都可以互相匹配。此时像素值和局部纹理已经不可靠了，甚至同一个结构也会出现梯度反转、模糊、噪声以及局部形变。
作者将常见的局部跨模态差异拆开来之后，抓住了一个很重要的现象：边缘/轮廓的主要方向要比灰度、纹理本身更加稳定。就如人的双眼面对同一片树林的RGB、红外、深度或者素描等各种版本的时候，能够帮助我们确定"它依然是那片树林"的，不是颜色，而是轮廓以及主要结构。
HIMO 的思路因此并不是要把各种不同的模态强行变得"像"，而是去发现它们已经共同拥有的低层不变量。
根据人类视觉直觉来判断，"方向"可以看作是跨模态局部结构的一个候选公共特征。
主要的判断是：跨模态会改变，但是方向不一定改变
HIMO 将"方向"变成可以计算出来的特性，并不是一句直觉。作者特别区分了odd-form 的 edge 与 even-form 的 contour前者属于边缘响应，而后者则属于轮廓/对称结构响应。两者的在不同的模态下可能会互相抵消或者加强，所以要同时进行建模。
这也是论文与一般的梯度描述子之间区别的地方：不能仅仅根据一个梯度箭头来判断当前位置是由edge还是contour主导然后再把各种尺度、层次的信息都压缩到一张稳定的方向图中去。
从这一环节起，论文后面所提到的DoFS、PolarP以及CDMS都只回答了一个问题：如何将这张"方向地图"转化为真正的可靠关键点和匹配。
整个HIMO链可以一句话来概括：IMO 寻找共同的语言，DoFS 寻找稳定的位臵，PolarP 组织描述子，CDMS 串起多尺度匹配。
这四个模块不是简单的叠加在一起：IMO 提供跨模态底层不变量，DoFS 利用尺度稳定性进一步筛选点，PolarP 用极坐标和层级感受野增强旋转和局部形变鲁棒性。CDMS 再次将跨尺度有效匹配逐层传递。
HIMO 四段式的方法链
把方法分成四部分来理解会比较容易：
①IMO：根据CoF、Log-Gabor odd/even、Sobel-like分支以及MASW多尺度加权，在以下几种方式中选择一种：1）CoF；2）Log-Gabor odd/even；3）Sobel-like分支；4）MASW多尺度加权。得到像素级别的Intrinsic Major Orientation。
②DoFS：观察特征在尺度空间中是否稳定，把容易漂移的噪声点压制下去。
③PolarP用极坐标层级来描述子把局部方向组织起来，并且处理跨模态旋转下descriptorreversal。
④CDMS：用上一个尺度已经验证过的匹配结果来指导下一个尺度，从而避免不必要的重复描述和重复匹配。
从IMO到DoFS、PolarP、CDMS的完整的匹配链。
IMO+DoFS：首先找到一个稳定的方向，并且这个方向是主要的
IMO的第一步就是Co-occurrence Filter（CoF）。它并不是简单的按照像素差异来进行平滑处理，而是在于利用像素之间的共现关系来加强主要结构，在此基础上再用残差式组合法保留一些细节。之后，Log-Gabor odd/even 分支分别感受"边缘"、"轮廓"，然后补充Sobel-like浅层响应。
然后作者使用Multi-scale Averaging Squared Weighting（MASW）来对各个尺度上方向进行稳定化。最后odd/even两种类型的响应会在每一个像素的位置上进行竞争：哪个幅值大就用哪个方向做最后的IMO。
IMO 还有一个validness判断。平滑区域、模糊区域或者没有明显的主结构的地方，即使可以计算出方向，也不应该进入到后面的统计中去；所以作者使用odd/even响应来构造协方差矩阵，并且过滤掉那些"没有可靠的方位"的像素。
DoFS 进一步考察"该点在不同尺度上稳定不"。SAR的例子在论文中非常直观：没有经过DoFS的时候，散斑噪声也会被当作显著点；加入DoFS之后，重要的节点主要集中在跨尺度稳定的结构。
公式 1：Odd-Even Orientation Coupling
公式 2：IMO 有效性的筛选
2、PolarP+CDMS：把方向真正地变成匹配
PolarP 使用的是极坐标分区：关键点位于圆心处，周围的区域被划分成同心圆和扇形cell，IMO 方向落在不同的角度bin中。和普通的矩形网格相比，这样的布局自然更有利于"围绕关键点旋转"的问题。
作者又加入了更深层次的扩展，将浅层的细胞逐渐地组合成更大的感受野，从局部、较深层一直走到全局统计。它的目的是不求更加复杂，而用大结构上下文来抵消局部纹理错位。
跨模态旋转还存在一个容易被忽视的问题，在方向被限定在[-π/2, π/2))的时候，图像旋转可能会使描述子整体翻转。HIMO 使用Partition-State Discrimination（PSD）来比较不同cell之间的方差状态，从而决定是否要交换描述子半区。
CDMS 负责多个尺度。它并不是每一层都从头开始，而是在上一个尺度经过RANSAC验证过的匹配成为"有效状态"的情况下进行传递；已经匹配好的点直接从后续描述和匹配中剔除掉，最后再统一进行一次outlier removal。它更像是逐层收敛的匹配流水线。
Polar-Pyramid 描述子和 Cascaded Dynamic Multi-scale Strategy 有关。
真正值得一看的并不是一个个榜单，而跨条件稳定性。本文把传统的 10 种方法和深度网络的方法进行了比较，在 GCZ、WDS、MRSI、SRIF、MMIM 等 5 类基准上得到了验证。
在特征不变性实验里，HIMO 在传统的办法组中，在各种不同的模态组合下取得了最高的NCR；对于网络的方法来说，该非数据驱动的方案仍然具有很强的竞争优势。经过detector-free HIMO 统一放置 3600 个关键点之后，匹配的数量又增加了。
旋转实验在 0°～360° 范围内每隔 5° 测量一次，论文中报告了 HIMO 的 NCM 整体保持在1500 以上；各种网络方法在旋转大约45度之后就出现了明显的退化现象。
尺度比例为 0.5 至 2，在最极端的比例下，HIMO 的 NCM 相对于无尺度差异时下降约 83%，但是仍然保留1600以上的正确匹配点。
视角的变化就暴露出边界：当perspective angle为±45度的时候，NCM下降大约50%-1000%左右；当视角差大于大约±25°之后，LoFTR、XoFTR等网络就会占据上风。大视角/3D多视角是作者自己明说的目前存在的不足。
在SRIF上，HIMO除了光学图谱外，在整体表现上也十分出色，论文中还提到该系统的误差大约为3像素；对于 MRSI 这样的旋转差异不大的数据而言，HIMO 为了支持任意旋转而要牺牲一定的稳定性，所以作者还给出了HIMO+和detector-free两种版本来进行更加公正的比较。
为了使评价更加贴近实际情况，论文提出了DCM和RMSECP-N：前者不仅考虑正确的匹配点的数量，而且还考虑覆盖面积以及分布均匀性；后一种方法是在均匀检查点上直接对估计变换和真值变换之间的误差进行评价。
公式 3：Distribution of Correct Matches
数据集方面所做出的贡献也是实实在在的：GCZ 覆盖了RGB、PAN、NIR、SWIR、MSI、HSI、SAR、LiDAR、Map等各个来源，论文表I给出了4752个标准样本；WDS 有 7 个场景，包括 MSI、HSI、SAR、LiDAR 和 Map 等多种数据源。
HIMO最有趣的地方并不是一句话，"手工特征赢了深度网络。"也就是说，它又提出了一个重要的问题：跨模态通用性的获得是否必须通过看足够多模态数据来实现呢？
该条路线的优点很明显：不需要依靠特定的训练模态、解释性好、旋转/缩放的行为可以被分析出来，在很多未知的模态组合中也更加稳定。
缺点同样明确：对于大视角、三维几何的变化，局部刚性描述子仍然不能和大规模三维数据进行比较，Transformer也不能很好地完成任务；项目仓库中提到相位一致性的关键点检测存在边缘效应，CDMS 的多尺度本质上仍然依靠比较粗略的scale-space。
因此更加值得期待的方向，并非是"手工 vs 深度"二选一，而可能是把IMO这样的显式不变量和现代学习式的matcher的全局建模能力结合起来。
往期推荐
