基于三元组一致性学习的单目内窥镜里程计估计

文章目录

  • [TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope](#TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope)

TCL: Triplet Consistent Learning for Odometry Estimation of Monocular Endoscope

摘要

单目图像中深度和姿态的估计对于计算机辅助导航至关重要。由于很难获得深度和姿态的真值标注,无监督训练方法在内窥镜场景中具有广阔的前景。然而,内窥镜数据集缺乏足够的视觉变化多样性,图像三元组中也频繁出现外观不一致的问题。

本文提出了一种三元组一致性学习框架(TCL),包括两个模块:几何一致性模块(GC)和外观不一致模块(AiC)。为丰富内窥镜数据集的多样性,GC模块生成合成三元组并通过特定损失函数强制实现几何一致性。为减少图像三元组中的外观不一致,AiC模块引入三元组遮蔽策略来作用于光度损失。
代码地址

方法

图1描述三元组一致性学习框架(TCL)的总体架构,包含两个模块:

  1. 几何一致性模块(GC):
  • 利用透视视图合成技术生成合成三元组
  • 通过深度一致性损失Ldc和姿态一致性损失Lpc来强制实现几何一致性
  1. 外观不一致模块(AiC):
  • 基于翘曲三元组生成三元组掩码
  • 将掩码应用于光度损失Lp,以减少外观不一致的影响

该框架可以轻松嵌入到无监督的结构从运动(SfM)方法中,无需增加额外的模型参数。这种设计旨在提高单目内窥镜里程计估计的精度,特别是在内窥镜数据集缺乏视觉变化和存在外观不一致的情况下。

实验结果




相关推荐
BFT白芙堂16 分钟前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
aneasystone本尊22 分钟前
使用 MCP 让 Claude Code 集成外部工具
人工智能
金色光环29 分钟前
【Modbus学习笔记】stm32实现Modbus
笔记·stm32·学习
静心问道32 分钟前
SEW:无监督预训练在语音识别中的性能-效率权衡
人工智能·语音识别
xwz小王子38 分钟前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
我爱一条柴ya39 分钟前
【AI大模型】深入理解 Transformer 架构:自然语言处理的革命引擎
人工智能·ai·ai作画·ai编程·ai写作
静心问道40 分钟前
FLAN-T5:规模化指令微调的语言模型
人工智能·语言模型·自然语言处理
李师兄说大模型40 分钟前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
静心问道41 分钟前
SqueezeBERT:计算机视觉能为自然语言处理在高效神经网络方面带来哪些启示?
人工智能·计算机视觉·自然语言处理
Sherlock Ma41 分钟前
百度开源文心一言4.5:论文解读和使用入门
人工智能·百度·自然语言处理·开源·大模型·文心一言·多模态