Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models

ABSTRACT

现代大规模视觉-语言模型(LVLMs)采用了相同的视觉词汇-CLIP,可以涵盖大多数常见的视觉任务。然而,对于一些需要密集和细粒度视觉感知的特殊视觉任务,例如文档级OCR或图表理解,尤其是在非英语环境中,CLIP风格的词汇可能在分词视觉知识方面效率较低,甚至遇到词汇表外问题。因此,我们提出了一种名为Vary的有效方法,用于扩大LVLMs的视觉词汇。Vary的过程自然地分为两个步骤:生成和整合新的视觉词汇。在第一阶段,我们设计了一个词汇网络以及一个小型的仅解码器的transformer,通过自回归方式生成所需的词汇。接下来,我们通过将新的词汇与原始词汇(CLIP)合并,扩大了原始的视觉词汇,使LVLMs能够快速获得新特征。与流行的BLIP-2、MiniGPT4和LLaVA相比,Vary在保持其原有功能的同时,拥有更出色的细粒度感知和理解能力。具体而言,Vary在新的文档解析功能(OCR或标记转换)上表现出色,在DocVQA中实现了78.2%的ANLS,以及在MMVet中实现了36.2%的成绩。我们的代码将在主页上公开发布。

论文地址:论文
即将开源:主页
开源代码:代码

该论文旨在解决大规模视觉-语言模型(LVLMs)中视觉词汇表规模的限制问题。在传统的视觉-语言模型中,通常使用一个固定大小的视觉词汇表来表示图像的视觉信息。然而,这种固定大小的词汇表可能无法有效地覆盖复杂和多样化的视觉世界。

为了扩大视觉词汇表的规模,论文提出了一种名为Vary的方法。Vary方法利用自回归生成技术,通过一个小型解码器(称为"vocabulary network"),从已有的有限词汇表中扩展出更多的词汇。该方法可以根据上下文和语言模型的预测进行表征,并在生成过程中利用了注意力机制。

Vary方法的关键思想是通过生成来扩大词汇表,而非直接增加预训练参数的数量。这使得扩展视觉词汇表的计算和存储成本大大降低,并且可以通过少量参数快速生成大规模的词汇。

论文通过在多个视觉-语言任务上的实验验证了Vary方法的有效性。实验结果表明,使用扩展后的视觉词汇表可以显著提升模型在图像分类、图像生成和视觉问答等任务上的性能。

相关推荐
VIP_CQCRE5 分钟前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷1 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我1 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁012 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java2 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn2 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下4 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码4 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下4 小时前
langgraph 全栈项目(二)
前端·人工智能·后端