CV-MLLM经典论文解读| Link-Context Learning for Multimodal LLMs面向多模态大型语言模型的链接上下文学习

论文标题:

Link-Context Learning for Multimodal LLMs

面向多模态大型语言模型的链接上下文学习

论文链接:

Link-Context Learning for Multimodal LLMs论文下载

论文作者:

Yan Tai, Weichen Fan, Zhao Zhang, Feng Zhu, Rui Zhao, Ziwei Liu

内容简介:

这篇论文提出了一种新的学习方法------链式上下文学习(Link-Context Learning, LCL),旨在增强多模态大型语言模型(MLLMs)在对话中理解和应用新概念的能力。通过强调"从因果关系中推理",LCL超越了传统的上下文学习(In-Context Learning, ICL),通过加强支持集和查询集之间的因果关系,使MLLMs能够更有效地识别未见图像和理解新概念。为了评估这一新方法,作者引入了ISEKAI数据集,该数据集包含专门设计的未见生成图像-标签对,用于链式上下文学习。广泛的实验表明,LCL-MLLM在新概念的链式上下文学习能力上优于传统的MLLMs。

关键点:

1.链式上下文学习(LCL):

  • 引入了一种新的少样本学习设置,要求MLLMs在对话中吸收新概念,并保留这些知识以准确回答问题。
  • LCL通过在支持集和查询集之间建立因果链接,增强了模型对源和目标之间因果关系的理解。

2.ISEKAI数据集:

  • 为了评估MLLMs在LCL中的表现,作者发布了ISEKAI数据集,包含未见图像和全新概念。
  • 数据集的图像由Stable Diffusion和Midjourney生成,标签或概念是虚构的,以确保MLLMs完全未见。

3.实验结果:

  • 通过在ISEKAI数据集上的实验,展示了LCL方法的有效性,与现有的MLLMs相比,LCL-MLLM在处理完全未知图像的场景中表现出色。
  • 在ImageNet-100数据集上的实验也证实了LCL方法的有效性,该数据集包含100个训练阶段未见过的类别。

4.训练策略:

  • 论文提出了不同的训练策略,包括[2-way]、[2-way-random]、[2-way-weight]和[mix]策略,以提升模型在不同情况下的表现。
  • mix\]策略通过结合\[2-way\]任务和Shikra的原始任务,提升了模型的泛化能力。

CV-MLLM必读论文合集:

CV-MMLM必读论文合集

希望这些论文能帮到你!如果觉得有用,记得点赞关注哦~ 后续还会更新更多论文合集!!

代码链接:

论文中提到,代码和数据将在以下链接发布:https://github.com/isekai-portal/Link-Context-Learning

相关推荐
THMAIL2 分钟前
量化基金从小白到大师 - 金融数据获取大全:从免费API到Tick级数据实战指南
人工智能·python·深度学习·算法·机器学习·金融·kafka
zzywxc7873 分钟前
AI在金融、医疗、教育、制造业等领域的落地案例(含代码、流程图、Prompt示例与图表)
人工智能·spring·机器学习·金融·数据挖掘·prompt·流程图
代码欢乐豆40 分钟前
scikit-learn零基础配置(含python、anaconda)
python·机器学习·scikit-learn
周末程序猿1 小时前
谈谈Vibe编程(氛围编程)
人工智能
Tiger Z1 小时前
《动手学深度学习v2》学习笔记 | 2.4 微积分 & 2.5 自动微分
pytorch·深度学习·ai
软件算法开发1 小时前
基于LSTM深度学习的网络流量测量算法matlab仿真
深度学习·matlab·lstm·网络流量测量
水印云1 小时前
AI配音工具哪个好用?7款热门配音软件推荐指南!
人工智能·语音识别
liugenwei1 小时前
OpenCV - 图像的IO操作
opencv·计算机视觉
Luke Ewin1 小时前
FunASR的Java实现Paraformer实时语音识别 | 一款无需联网的本地实时字幕软件
java·人工智能·语音识别·asr·funasr·paraformer·sensevoice
先做个垃圾出来………1 小时前
PyTorch 模型文件介绍
人工智能·pytorch·python