CV-MLLM经典论文解读| Link-Context Learning for Multimodal LLMs面向多模态大型语言模型的链接上下文学习

论文标题:

Link-Context Learning for Multimodal LLMs

面向多模态大型语言模型的链接上下文学习

论文链接:

Link-Context Learning for Multimodal LLMs论文下载

论文作者:

Yan Tai, Weichen Fan, Zhao Zhang, Feng Zhu, Rui Zhao, Ziwei Liu

内容简介:

这篇论文提出了一种新的学习方法------链式上下文学习(Link-Context Learning, LCL),旨在增强多模态大型语言模型(MLLMs)在对话中理解和应用新概念的能力。通过强调"从因果关系中推理",LCL超越了传统的上下文学习(In-Context Learning, ICL),通过加强支持集和查询集之间的因果关系,使MLLMs能够更有效地识别未见图像和理解新概念。为了评估这一新方法,作者引入了ISEKAI数据集,该数据集包含专门设计的未见生成图像-标签对,用于链式上下文学习。广泛的实验表明,LCL-MLLM在新概念的链式上下文学习能力上优于传统的MLLMs。

关键点:

1.链式上下文学习(LCL):

  • 引入了一种新的少样本学习设置,要求MLLMs在对话中吸收新概念,并保留这些知识以准确回答问题。
  • LCL通过在支持集和查询集之间建立因果链接,增强了模型对源和目标之间因果关系的理解。

2.ISEKAI数据集:

  • 为了评估MLLMs在LCL中的表现,作者发布了ISEKAI数据集,包含未见图像和全新概念。
  • 数据集的图像由Stable Diffusion和Midjourney生成,标签或概念是虚构的,以确保MLLMs完全未见。

3.实验结果:

  • 通过在ISEKAI数据集上的实验,展示了LCL方法的有效性,与现有的MLLMs相比,LCL-MLLM在处理完全未知图像的场景中表现出色。
  • 在ImageNet-100数据集上的实验也证实了LCL方法的有效性,该数据集包含100个训练阶段未见过的类别。

4.训练策略:

  • 论文提出了不同的训练策略,包括[2-way]、[2-way-random]、[2-way-weight]和[mix]策略,以提升模型在不同情况下的表现。
  • mix\]策略通过结合\[2-way\]任务和Shikra的原始任务,提升了模型的泛化能力。

CV-MLLM必读论文合集:

CV-MMLM必读论文合集

希望这些论文能帮到你!如果觉得有用,记得点赞关注哦~ 后续还会更新更多论文合集!!

代码链接:

论文中提到,代码和数据将在以下链接发布:https://github.com/isekai-portal/Link-Context-Learning

相关推荐
Ronin-Lotus4 小时前
深度学习篇---剪裁&缩放
图像处理·人工智能·缩放·剪裁
cpsvps4 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
国科安芯5 小时前
抗辐照芯片在低轨卫星星座CAN总线通讯及供电系统的应用探讨
运维·网络·人工智能·单片机·自动化
AKAMAI5 小时前
利用DataStream和TrafficPeak实现大数据可观察性
人工智能·云原生·云计算
微光-沫年5 小时前
150-SWT-MCNN-BiGRU-Attention分类预测模型等!
机器学习·matlab·分类
Ai墨芯1115 小时前
深度学习水论文:特征提取
人工智能·深度学习
无名工程师5 小时前
神经网络知识讨论
人工智能·神经网络
nbsaas-boot5 小时前
AI时代,我们更需要自己的开发方式与平台
人工智能
SHIPKING3935 小时前
【机器学习&深度学习】LLamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·深度学习·机器学习
闻道且行之6 小时前
Windows|CUDA和cuDNN下载和安装,默认安装在C盘和不安装在C盘的两种方法
windows·深度学习·cuda·cudnn