基于三元组一致性学习的单目内窥镜里程计估计

文章目录

  • [TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope](#TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope)

TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope

摘要

单目图像中深度和姿态的估计对于计算机辅助导航至关重要。由于很难获得深度和姿态的真值标注,无监督训练方法在内窥镜场景中具有广阔的前景。然而,内窥镜数据集缺乏足够的视觉变化多样性,图像三元组中也频繁出现外观不一致的问题。

本文提出了一种三元组一致性学习框架(TCL),包括两个模块:几何一致性模块(GC)和外观不一致模块(AiC)。为丰富内窥镜数据集的多样性,GC模块生成合成三元组并通过特定损失函数强制实现几何一致性。为减少图像三元组中的外观不一致,AiC模块引入三元组遮蔽策略来作用于光度损失。
代码地址

方法

图1描述三元组一致性学习框架(TCL)的总体架构,包含两个模块:

  1. 几何一致性模块(GC):
  • 利用透视视图合成技术生成合成三元组
  • 通过深度一致性损失Ldc和姿态一致性损失Lpc来强制实现几何一致性
  1. 外观不一致模块(AiC):
  • 基于翘曲三元组生成三元组掩码
  • 将掩码应用于光度损失Lp,以减少外观不一致的影响

该框架可以轻松嵌入到无监督的结构从运动(SfM)方法中,无需增加额外的模型参数。这种设计旨在提高单目内窥镜里程计估计的精度,特别是在内窥镜数据集缺乏视觉变化和存在外观不一致的情况下。

实验结果




相关推荐
爱倒腾的老唐29 分钟前
01、如何学习单片机
单片机·嵌入式硬件·学习
fsnine30 分钟前
Python人脸检测
人工智能·计算机视觉
追光的蜗牛丿2 小时前
目标检测中的ROI Pooling
人工智能·目标检测·计算机视觉
碳酸的唐5 小时前
A* 工程实践全指南:从启发式设计到可视化与性能优化
python·神经网络
缘华工业智维5 小时前
工业设备预测性维护:能源成本降低的“隐藏钥匙”?
大数据·网络·人工智能
于小汐在咯6 小时前
词根学习笔记 | Agri系列
笔记·学习
DooTask官方号6 小时前
跨语言协作新范式:阿里云Qwen-MT与DooTask的翻译技术突破
人工智能·ai·项目管理·机器翻译·dootask
霜绛7 小时前
Unity:Json笔记——Json文件格式、JsonUtlity序列化和反序列化
学习·unity·json·游戏引擎
凯禾瑞华养老实训室8 小时前
聚焦生活照护能力培育:老年生活照护实训室建设清单的模块设计与资源整合
大数据·人工智能·科技·ar·vr·智慧养老·智慧健康养老服务与管理
倔强青铜三8 小时前
苦练Python第64天:从零掌握多线程,threading模块全面指南
人工智能·python·面试