CV-MLLM经典论文解读| Link-Context Learning for Multimodal LLMs面向多模态大型语言模型的链接上下文学习

论文标题:

Link-Context Learning for Multimodal LLMs

面向多模态大型语言模型的链接上下文学习

论文链接:

Link-Context Learning for Multimodal LLMs论文下载

论文作者:

Yan Tai, Weichen Fan, Zhao Zhang, Feng Zhu, Rui Zhao, Ziwei Liu

内容简介:

这篇论文提出了一种新的学习方法------链式上下文学习(Link-Context Learning, LCL),旨在增强多模态大型语言模型(MLLMs)在对话中理解和应用新概念的能力。通过强调"从因果关系中推理",LCL超越了传统的上下文学习(In-Context Learning, ICL),通过加强支持集和查询集之间的因果关系,使MLLMs能够更有效地识别未见图像和理解新概念。为了评估这一新方法,作者引入了ISEKAI数据集,该数据集包含专门设计的未见生成图像-标签对,用于链式上下文学习。广泛的实验表明,LCL-MLLM在新概念的链式上下文学习能力上优于传统的MLLMs。

关键点:

1.链式上下文学习(LCL):

  • 引入了一种新的少样本学习设置,要求MLLMs在对话中吸收新概念,并保留这些知识以准确回答问题。
  • LCL通过在支持集和查询集之间建立因果链接,增强了模型对源和目标之间因果关系的理解。

2.ISEKAI数据集:

  • 为了评估MLLMs在LCL中的表现,作者发布了ISEKAI数据集,包含未见图像和全新概念。
  • 数据集的图像由Stable Diffusion和Midjourney生成,标签或概念是虚构的,以确保MLLMs完全未见。

3.实验结果:

  • 通过在ISEKAI数据集上的实验,展示了LCL方法的有效性,与现有的MLLMs相比,LCL-MLLM在处理完全未知图像的场景中表现出色。
  • 在ImageNet-100数据集上的实验也证实了LCL方法的有效性,该数据集包含100个训练阶段未见过的类别。

4.训练策略:

  • 论文提出了不同的训练策略,包括[2-way]、[2-way-random]、[2-way-weight]和[mix]策略,以提升模型在不同情况下的表现。
  • mix\]策略通过结合\[2-way\]任务和Shikra的原始任务,提升了模型的泛化能力。

CV-MLLM必读论文合集:

CV-MMLM必读论文合集

希望这些论文能帮到你!如果觉得有用,记得点赞关注哦~ 后续还会更新更多论文合集!!

代码链接:

论文中提到,代码和数据将在以下链接发布:https://github.com/isekai-portal/Link-Context-Learning

相关推荐
一勺汤2 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创4 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao15 分钟前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子24 分钟前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人29 分钟前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者33 分钟前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能
__Benco1 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(十),魔法键使用方法,用户态异常信息说明
人工智能·harmonyos
小杨4041 小时前
python入门系列二十(peewee)
人工智能·python·pycharm
IT古董1 小时前
【漫话机器学习系列】225.张量(Tensors)
人工智能
深圳市快瞳科技有限公司1 小时前
当OCR遇上“幻觉”:如何让AI更靠谱地“看懂”文字?
人工智能·ai·ocr