基于三元组一致性学习的单目内窥镜里程计估计

文章目录

  • [TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope](#TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope)

TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope

摘要

单目图像中深度和姿态的估计对于计算机辅助导航至关重要。由于很难获得深度和姿态的真值标注,无监督训练方法在内窥镜场景中具有广阔的前景。然而,内窥镜数据集缺乏足够的视觉变化多样性,图像三元组中也频繁出现外观不一致的问题。

本文提出了一种三元组一致性学习框架(TCL),包括两个模块:几何一致性模块(GC)和外观不一致模块(AiC)。为丰富内窥镜数据集的多样性,GC模块生成合成三元组并通过特定损失函数强制实现几何一致性。为减少图像三元组中的外观不一致,AiC模块引入三元组遮蔽策略来作用于光度损失。
代码地址

方法

图1描述三元组一致性学习框架(TCL)的总体架构,包含两个模块:

  1. 几何一致性模块(GC):
  • 利用透视视图合成技术生成合成三元组
  • 通过深度一致性损失Ldc和姿态一致性损失Lpc来强制实现几何一致性
  1. 外观不一致模块(AiC):
  • 基于翘曲三元组生成三元组掩码
  • 将掩码应用于光度损失Lp,以减少外观不一致的影响

该框架可以轻松嵌入到无监督的结构从运动(SfM)方法中,无需增加额外的模型参数。这种设计旨在提高单目内窥镜里程计估计的精度,特别是在内窥镜数据集缺乏视觉变化和存在外观不一致的情况下。

实验结果




相关推荐
vocal3 分钟前
谷歌第七版Prompt Engineering—第一部分
人工智能
MonkeyKing_sunyuhua4 分钟前
5.6 Microsoft Semantic Kernel:专注于将LLM集成到现有应用中的框架
人工智能·microsoft·agent
arbboter12 分钟前
【AI插件开发】Notepad++ AI插件开发1.0发布和使用说明
人工智能·大模型·notepad++·ai助手·ai插件·aicoder·notepad++插件开发
BB_CC_DD13 分钟前
四. 以Annoy算法建树的方式聚类清洗图像数据集,一次建树,无限次聚类搜索,提升聚类搜索效率。(附完整代码)
深度学习·算法·聚类
我的golang之路果然有问题23 分钟前
快速了解redis,个人笔记
数据库·经验分享·redis·笔记·学习·缓存·内存
IT_Octopus25 分钟前
AI工程pytorch小白TorchServe部署模型服务
人工智能·pytorch·python
果冻人工智能29 分钟前
AI军备竞赛:我们是不是正在造一个无法控制的神?
人工智能
暴龙胡乱写博客35 分钟前
OpenCV---图像预处理(四)
人工智能·opencv·计算机视觉
程序员辣条42 分钟前
深度测评 RAG 应用评估框架:指标最全面的 RAGas
人工智能·程序员
curdcv_po43 分钟前
字节跳动Trae:一款革命性的免费AI编程工具完全评测
人工智能·trae