深度学习论文: LightGlue: Local Feature Matching at Light Speed

深度学习论文: LightGlue: Local Feature Matching at Light Speed

LightGlue: Local Feature Matching at Light Speed

PDF: https://arxiv.org/pdf/2306.13643

PyTorch代码: https://github.com/shanglianlm0525/CvPytorch

PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

LightGlue通过自适应地应对不同难度的图像对来改进视觉匹配,包括视觉重叠程度、外观变化和辨别信息量。对于易于匹配的图像对,其推理速度更快,类似于人类处理视觉信息的方式。它通过在每个计算块后预测对应关系、让模型自我评估是否需要进一步计算,并在早期阶段丢弃不可匹配的点来优化性能。在如SLAM等典型操作条件下,LightGlue在保持性能的同时带来了显著改进,通过动态调整网络大小而非减少其整体容量。

2 LightGlue

LightGlue 是由一系列(L 个)相同的层堆叠而成,这些层能够共同处理两组数据。每一层包含自注意力和交叉注意力单元,它们用于更新每个点的表示。随后,一个分类器会在每一层判断是否需要停止推理,以减少不必要的计算。最终,通过一个轻量级的头部从表示集合中计算得出一个部分分配。

2-1 Transformer backbone

Attention unit:

注意力单元使用MLP根据从源图像S中聚合的消息mI i ←S来更新状态xI i。消息通过注意力机制计算,是图像S中所有状态j的加权平均值。

Self-attention:

每个点关注同一图像中的所有点。通过不同的线性变换分解当前状态xi为键ki和查询qi,并计算点i和j之间的注意力分数aij,该分数基于点的相对位置编码。位置编码通过旋转矩阵R§捕捉相对位置信息,允许模型检索相对位置的点。

Cross-attention:

图像I中的每个点关注另一张图像S中的所有点。计算键ki但不计算查询,使得注意力分数aIS ij为两键的相似度。由于跨图像的相对位置没有意义,因此不添加位置信息。这种方法节省了计算成本,只需计算一次I ←S和S ←I消息的相似性。

2-2 Correspondence prediction

本文设计了轻量级头部来预测任何层更新后的分配。首先计算点对的相似度矩阵S,并为每个点计算可匹配性分数σi。接着,将相似性和可匹配性分数结合成软部分分配矩阵P,以确定哪些点对形成对应关系。选择满足阈值τ和行/列最大值的点对。
分配矩阵 P:

其中

2-3 Adaptive depth and width

引入两种机制以减少计算和节省推理时间:一是根据图像对难度调整层数;二是提前剔除确信的无效点。LightGlue 在每层结束时推断各点分配的置信度,高置信度表示该点表示可靠,可用于提前输出预测并停止推理。引入的紧凑MLP在最坏情况下仅增加2%的推理时间。

Exit criterion: 对于层ℓ,如果 c i > λ ℓ c_{i} > λ_{ℓ} ci>λℓ,则点被视为可靠。当可靠点的比例超过α时,停止推理。 λ ℓ λ_{ℓ} λℓ逐层递减,基于分类器的验证准确率。 α α α控制准确率和推理时间的权衡。

Point pruning: 当不满足退出准则时,丢弃预测为可靠但无法匹配的点,它们对后续匹配无帮助。这减少了计算量,而不影响准确率。

3 Experiments

相关推荐
小雷FansUnion1 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周1 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享2 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜2 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿2 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_2 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
cver1232 小时前
野生动物检测数据集介绍-5,138张图片 野生动物保护监测 智能狩猎相机系统 生态研究与调查
人工智能·pytorch·深度学习·目标检测·计算机视觉·目标跟踪
学技术的大胜嗷3 小时前
离线迁移 Conda 环境到 Windows 服务器:用 conda-pack 摆脱硬路径限制
人工智能·深度学习·yolo·目标检测·机器学习
还有糕手3 小时前
西南交通大学【机器学习实验10】
人工智能·机器学习
江瀚视野3 小时前
百度文心大模型4.5系列正式开源,开源会给百度带来什么?
人工智能