CV-MLLM经典论文解读| Link-Context Learning for Multimodal LLMs面向多模态大型语言模型的链接上下文学习

论文标题:

Link-Context Learning for Multimodal LLMs

面向多模态大型语言模型的链接上下文学习

论文链接:

Link-Context Learning for Multimodal LLMs论文下载

论文作者:

Yan Tai, Weichen Fan, Zhao Zhang, Feng Zhu, Rui Zhao, Ziwei Liu

内容简介:

这篇论文提出了一种新的学习方法------链式上下文学习(Link-Context Learning, LCL),旨在增强多模态大型语言模型(MLLMs)在对话中理解和应用新概念的能力。通过强调"从因果关系中推理",LCL超越了传统的上下文学习(In-Context Learning, ICL),通过加强支持集和查询集之间的因果关系,使MLLMs能够更有效地识别未见图像和理解新概念。为了评估这一新方法,作者引入了ISEKAI数据集,该数据集包含专门设计的未见生成图像-标签对,用于链式上下文学习。广泛的实验表明,LCL-MLLM在新概念的链式上下文学习能力上优于传统的MLLMs。

关键点:

1.链式上下文学习(LCL):

  • 引入了一种新的少样本学习设置,要求MLLMs在对话中吸收新概念,并保留这些知识以准确回答问题。
  • LCL通过在支持集和查询集之间建立因果链接,增强了模型对源和目标之间因果关系的理解。

2.ISEKAI数据集:

  • 为了评估MLLMs在LCL中的表现,作者发布了ISEKAI数据集,包含未见图像和全新概念。
  • 数据集的图像由Stable Diffusion和Midjourney生成,标签或概念是虚构的,以确保MLLMs完全未见。

3.实验结果:

  • 通过在ISEKAI数据集上的实验,展示了LCL方法的有效性,与现有的MLLMs相比,LCL-MLLM在处理完全未知图像的场景中表现出色。
  • 在ImageNet-100数据集上的实验也证实了LCL方法的有效性,该数据集包含100个训练阶段未见过的类别。

4.训练策略:

  • 论文提出了不同的训练策略,包括[2-way]、[2-way-random]、[2-way-weight]和[mix]策略,以提升模型在不同情况下的表现。
  • mix\]策略通过结合\[2-way\]任务和Shikra的原始任务,提升了模型的泛化能力。

CV-MLLM必读论文合集:

CV-MMLM必读论文合集

希望这些论文能帮到你!如果觉得有用,记得点赞关注哦~ 后续还会更新更多论文合集!!

代码链接:

论文中提到,代码和数据将在以下链接发布:https://github.com/isekai-portal/Link-Context-Learning

相关推荐
zxsz_com_cn9 分钟前
风电行业预测性维护解决方案:AIoT驱动下的风机健康管理革命
大数据·运维·人工智能
Y1nhl1 小时前
搜广推校招面经六十四
人工智能·深度学习·leetcode·广告算法·推荐算法·搜索算法
禁默1 小时前
智能体开发基础:从概念到实现
人工智能·大模型·智能体
Y1nhl2 小时前
Pyspark学习一:概述
数据库·人工智能·深度学习·学习·spark·pyspark·大数据技术
简简单单做算法4 小时前
基于mediapipe深度学习和限定半径最近邻分类树算法的人体摔倒检测系统python源码
人工智能·python·深度学习·算法·分类·mediapipe·限定半径最近邻分类树
就决定是你啦!5 小时前
机器学习 第一章 绪论
人工智能·深度学习·机器学习
Wnq100726 小时前
智能巡检机器人在化工企业的应用研究
运维·计算机视觉·机器人·智能硬件·deepseek
有个人神神叨叨7 小时前
OpenAI发布的《Addendum to GPT-4o System Card: Native image generation》文件的详尽笔记
人工智能·笔记
林九生8 小时前
【Python】Browser-Use:让 AI 替你掌控浏览器,开启智能自动化新时代!
人工智能·python·自动化