Learning and Leveraging World Models in Visual Representation Learning

Learning and Leveraging World Models in Visual Representation Learning

相关链接:arxiv

关键字:学习世界模型视觉表示学习自监督学习JEPAImage World Models

摘要

本文探索了在自监督视觉表示学习中学习和利用世界模型的方法。作者引入了图像世界模型(Image World Models, IWM),一种学习预测全局光度变换效果的新方法。作者发现有效的IWM模型取决于多种因素,包括条件设置、预测难度和容量。此外,通过微调,IWM可以适应不同的任务,甚至在图像分类和语义分割等任务上与或超越了先前的自监督方法。实验证明,通过IWM学习,可以控制所学表示的抽象级别,能够学习到如对比学习方法中的不变表示,或如遮蔽图像建模的等变表示。

核心方法

IWM建模框架JEPA(Joint-Embedding Predictive Architecture)的核心在于学习一个通过预测来利用世界模型的能力,包括以下方面:

  • 条件设置:通过为预测器提供关于目标的几何信息(例如屏蔽tokens)和变换参数ax→y进行调整。
  • 预测难度:通过使用数据增强来创建目标和源视图,增加了预测的复杂性。
  • 容量:确定了深度的预测器模型以学习适当的变换,以此学习强大的世界模型。

作者通过多种实验测量了这些构建一个强大IWM的关键要素,从而在表示学习中实现良好的性能。

实验说明

以下是对该文中所提方法的实验性能比较的一个展示:

方法 Epochs 无预测器 固定编码器微调预测器 端到端
MAE 300 82.7 82.4 83.3
I-JEPA 300 83.0 82.0 82.0(预训练)
IWMInv (12,384) 300 83.3 82.7 83.3(预训练)
IWMEqui (18,384) 300 82.9 84.4 84.4(预训练)

实验中使用ImageNet进行评估,对比拉动MAE、I-JEPA等方法,以及对IWM的不变和等变世界模型的表现。从表中可以看出,良好的IWM在固定编码器的情况下微调预测器可以达到相当甚至超过单纯微调编码器的性能。

此外,作者还探索了多任务预测器微调,即预测器可以被微调应用于多个任务上,而且综合性能没有明显下降。这展示了世界模型的通用性和适用性。

结论

本文提出了图像世界模型IWM作为学习自监督视觉表示的新框架。考虑到世界模型条件设置、预测任务的复杂性和预测器的容量都对学习性能有显著影响,作者提出不抛弃在表示学习中学到的世界模型,而是在下游任务中进一步利用微调。实验证明该方法在多项视觉任务中表现良好,为自监督视觉表示学习提供了新的方向。

相关推荐
chenchihwen4 小时前
AI代码开发宝库系列:Function Call
人工智能·python·1024程序员节·dashscope
FreeBuf_4 小时前
微软Copilot被用于窃取OAuth令牌,AI Agent成为攻击者帮凶
人工智能·microsoft·copilot
学slam的小范4 小时前
ROS跑ORB-SLAM3遇见的问题总结
人工智能·机器人·自动驾驶
coding消烦员5 小时前
新版 vscode 去除快捷键 Ctrl+I 显示 Copilot 的 AI 对话框
人工智能·vscode·copilot
周杰伦_Jay5 小时前
【自动驾驶开源仿真平台】Carla、AirSim、Udacity self-driving-car-sim、Apollo、Autoware。
人工智能·机器学习·自动驾驶
牛奶还是纯的好6 小时前
双目测距实战5-立体矫正
人工智能·3d
无风听海6 小时前
神经网络之窗口大小对词语义向量的影响
人工智能·深度学习·神经网络
sali-tec6 小时前
C# 基于halcon的视觉工作流-章52-生成标定板
开发语言·图像处理·人工智能·算法·计算机视觉
IT古董6 小时前
【第五章:计算机视觉-项目实战之推荐/广告系统】2.粗排算法-(4)粗排算法模型多目标算法(Multi Task Learning)及目标融合
人工智能·算法·1024程序员节
newxtc6 小时前
【江苏政务服务网-注册_登录安全分析报告】
人工智能·安全·yolo·政务·1024程序员节·安全爆破