Deep learning based descriptor

1、DH3D: Deep Hierarchical 3D Descriptors for Robust Large-Scale 6DoF Relocalization

论文链接
代码链接

这是一篇训练点云的文章,在训练出local descriptor之后,通过聚类的方法得出global descriptor,并且提出了hierarchical network,使得local descriptor和global descriptor可以通过一个网络得到,通过共享计算降低了网络的复杂度,从而加快计算和训练。

2、RoRD: Rotation-Robust Descriptors and Orthographic Views for Local Feature Matching

论文链接
代码链接(未完成)

使用VGG作为主干网络,然后一半使用D2-net,另一半使用RoRD网络,RoRD网络会给原始图片一个较大的旋转,以提高所训练出的描述子的旋转不变性,D2-net可以保证在旋转较小或者没有旋转的时候,描述子依然可以很好地进行匹配。然后整合两种描述子。

3、DF-SLAM: A Deep-Learning Enhanced Visual SLAM System based on Deep Local Features

论文链接

未找到相关代码

主要思想:Tfeat(论文链接代码链接)结构+Hardnet(论文链接)提出的negative mining strategy

loss function:

采样策略通过L2成对距离矩阵在批次中选择最接近的不匹配patch。首先是生成一堆匹配好的局部patch,对一块patch中的指定anchor,只能一个可以匹配的patch。定义距离矩阵 D = d i j D={d_{ij}} D=dij.表示第 i i i个anchor patch描述子到第 j j j个postive patch描述子。

从而,hardest negative patch distance可以通过下式进行计算:
d n = m i n ( a k m i n , p j m i n ) d_n=min(a_{k_{min}},p_{j_{min}}) dn=min(akmin,pjmin)

这里, a k m i n a_{k_{min}} akmin表示到anchor patch最近的patch, p j m i n p_{j_{min}} pjmin表示到positive patch最近的patch。

从而定义损失函数:

这里, a i a_i ai表示anchor描述子, p i p_i pi是positive描述子。

4、Scale-Adaptive Neural Dense Features: Learning via Hierarchical Context Aggregation

论文链接
代码链接

主要模型框架:

Pixel-wise Contrastive Loss:


相关推荐
Yunzenn几秒前
深度分析字节最新研究cola-DLM第 01 章:语言生成的三次范式之争 —— 从 RNN 到 AR 到扩散
linux·人工智能·rnn·深度学习·机器学习·架构·transformer
m0_634666731 分钟前
Stability Audio 3.0 把 AI 音乐推过了一个门槛:从“音频片段”走向“完整歌曲”
人工智能·音视频
名不经传的养虾人2 分钟前
从0到1:企业级AI项目迭代日记 Vol.30|看不见的地基:从“能用”到“可信”的30天
人工智能·ai编程·企业ai
晚烛2 分钟前
CANN 数据流与内存优化:L1/L2 缓存机制与计算重叠深度解析
人工智能·python·缓存
薛定猫AI3 分钟前
【深度解析】从 Antigravity 2.0 看 AI Agent 的产品化演进:动态子代理、项目工作区与多模型编排实战
人工智能
2的n次方_4 分钟前
健身 Agent:不止视频,更有 AI 人物实时跟练交互
人工智能·音视频·交互·魔珐星云
前端不太难4 分钟前
CPU+GPU:开启AI推理新时代
人工智能·状态模式
chian-ocean4 分钟前
创业者实操:10 分钟搭建可商业化的交互型 AI 家电导购产品
人工智能
盼小辉丶4 分钟前
PyTorch强化学习实战——Atari游戏包装器
pytorch·深度学习·强化学习
海上彼尚5 分钟前
Nodejs也能写Agent - 6.基础篇 - Agent
前端·人工智能·后端·node.js