基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收!

基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收!

COLING,国际计算语言学会议(International Conference on Computational Linguistics),是自然语言处理和计算语言学领域的顶级国际会议(CCF 推荐 B 类国际会议)。COLING 2025 将于 2025 年 1 月 19 日至 24 日在阿联酋阿布扎比召开。VisualRWKV 论文已被 COLING 2025 主会接收

摘要

视觉语言模型(VLMs)随着大型语言模型的成功迅速发展。然而,将高效的线性循环神经网络(RNNs)架构整合到 VLMs 中的尝试还相对较少。在这项研究中,我们提出了 VisualRWKV,这是线性 RNN 模型首次应用于多模态学习任务,利用了预训练的 RWKV 语言模型。

我们提出了数据依赖的递归和三明治提示词来增强我们的建模能力,以及一个 2D 图像扫描机制来丰富视觉序列的处理。广泛的实验表明,VisualRWKV 在各种基准测试上达到了与基于 Transformer 的模型如 LLaVA-1.5 相竞争的性能,如图 1所示。同时,当上下文长度达到 24K 时,推理速度比 LLaVA-1.5 快3.98 倍,GPU 显存占用少 54%。

研究背景

  • 视觉语言模型发展:大型语言模型在自然语言处理中表现出色,视觉语言模型(VLMs)通过整合视觉和文本信息,在解决视觉问题和推进视觉 - 语言任务方面潜力巨大,但现有模型因 Transformer 架构自注意力机制存在计算和内存复杂度高的问题,限制了其在边缘设备的应用。
  • 线性 RNN 模型优势:RWKV 模型作为新型递归神经网络架构,在大规模数据性能上超越 Transformers,具有线性可扩展性,为长序列建模瓶颈提供解决方案,但在多模态任务应用方面的研究较少

VisualRWKV 模型设计

VisualRWKV 的整体模型结构如图 2所示,其中红字是 VisualRWKV 核心创新点。分别是数据依赖循环(Data-dependent Recurrence),三明治提示词(Sandwich Prompt)和双向扫描(Bidirectional Scanning)。

图 2 VisualRWKV 架构概述和三种提示词策略。图像在前提示:将图像标特征于文本向量之前;图像在后提示:将图像特征置于文本向量之后;三明治提示:将图像特征置于文本向量之间。红色文字表示主要贡献。

三明治提示词

如图 2 所示,设计了图像在前提示、图像在后提示和三明治提示三种方法,实验表明三明治提示效果最佳,能让模型在处理图像前回顾指令,更有针对性提取信息,减轻因图像标记减少导致的信息丢失。

数据依赖循环

Data-dependent Recurrence 可以有效增强 RWKV 模型的能力和容量,如图 3所示。

图 3 Data-dependent Recurrence 示意图,左边:时间混合模块的示意图,右边:时间混合模块的 RNN 视角。虚线箭头表示数据依赖的连接。

Data-dependent Recurrence 主要包括如下 2 点设计:

  • 数据依赖的 Token Shift:通过定义低秩适应(lora)和数据依赖线性插值(ddlerp),动态分配新数据与现有数据比例,拓宽模型容量。
  • 数据依赖的时间混合:将时间衰减向量从固定参数变为动态,使模型能更灵活适应输入数据,提升性能

如下表所示,VisualRWKV 引入 Data-dependent Recurrence 后,在 VQA 测试集上效果上涨了接近 15 个点,非常让人印象深刻。

我们选择在视觉问答 VQA-v2(VQA)、科学问答 ScienceQA(SQA)、文本视觉问答 TextVQA(TQA)和通用视觉问答 GQA 上进行实验,以检验模型的能力。

图像扫描机制

如图 4所示,我们探索了单向块、双向块和多向块三种变体,实验显示单向扫描不适合处理 2D 视觉信息,双向扫描在处理多模态学习任务的 2D 视觉信息方面表现较好。因为仅仅是调整不同层的扫描方向,也不并会增加模型总体的计算量。

图 4 展示了 3种不同的多模态 RWKV 块:单向块(左),双向块(中),以及多向块(右)。顶部还描绘了四种扫描模式。

实验结果

性能比较

VisualRWKV 在 8 个基准测试中的 3 个取得最佳性能,在 SQA 基准测试中排名第二,与 LLaVA-1.5 相比,在多个基准测试中表现更优,尤其在 MMB-cn 中文测试集上领先明显,表明 RWKV 语言模型多语言能力更强。表 2展示了我们提出的 VisualRWKV 模型与一些最先进的多模态大型语言模型的比较。VisualRWKV 在8 个基准测试中的 3个中取得了最佳性能,在 SQA 基准测试中排名第二。与规模参数相似且多模态训练数据量相同的 LLaVA-1.5 7B 相比,我们的模型(VisualRWKV-7B)在 4个基准测试中表现更好:SQA(68.2%对 66.8%)、GQA(64.3%对 62.0%)、MMB(65.8%对 64.3%)和 MMB-cn(63.7%对 30.5%)。值得注意的是,VisualRWKV 和LLaVA-1.5 使用了完全相同的训练数据。然而,在 MMB-cn 中文测试集上,VisualRWKV 显示出了显著的领先优势。这可能表明 RWKV 语言模型具有更强的多语言能力。这些有希望的结果不仅证实了 VisualRWKV 模型的有效性,还突显了线性 RNN 模型在多模态学习任务中的重要潜力。

由于空间限制,基准测试名称被缩写。VQA;GQA;SQA:ScienceQA-IMG;TQA:TextVQA;POPE;MME;MMB:MMBench;MMB-cn:MMBench-CN。PT 和IT 分别表示预训练和指令调优阶段涉及的样本数量。"Res."代表"分辨率"。

消融实验

表 3展示了在三种提示方法中,我们提出的三明治提示表现最佳,传统的先图像后提示排在第二位,而先图像后提示的效果最差。三明治提示增强效果的原因如下:通过让模型在处理图像之前先回顾指令,三明治提示有助于更有针对性地从图像中提取信息,从而加强图像信息检索过程中的条件方面。然而,仅仅将指令放在图像之前是不够的。我们观察到,图像后提示的效果明显较差。仅仅将指令放在图像前面是不充分的;我们发现图像后提示的效果明显较差。这是因为线性 RNN 模型在处理图像后往往会忘记指令信息,需要重复指令以获得更好的结果。此外,我们的研究表明,三明治提示能够有效减轻由于图像标记减少导致信息丢失的问题,即使只有少量的图像标记也能保持好的结果。

我们比较了三种图像扫描机制:单向扫描(UniDir)、双向扫描(BiDir)和多向扫描(MultiDir)。如表 4所示,UniDir 的表现最差,因为它天生不适合处理 2D 视觉信息。BiDir 和MultiDir 在各种基准测试评估中显示出相似的结果,但 BiDir 在大多数情况下表现更好,突显了它在处理多模态学习任务中的 2D 视觉信息方面的优势。

效率分析与文本能力

与 LLaVA-1.5 相比,在 24K 上下文时,VisualRWKV 推理速度快 3.98 倍,GPU 内存消耗降低 54%。此外,VisualRWKV 在文本能力上未出现退化,在多语言文本能力上与文本专用的 RWKV 基本一致,得益于多语言 ShareGPT4 数据的整合。

相关推荐
lovelin+v1750304096617 分钟前
智能电商:API接口如何驱动自动化与智能化转型
大数据·人工智能·爬虫·python
rpa_top18 分钟前
RPA 助力电商:自动化商品信息上传,节省人力资源 —— 以影刀 RPA 为例【rpa.top】
大数据·前端·人工智能·自动化·rpa
视觉语言导航33 分钟前
arXiv-2024 | STMR:语义拓扑度量表示引导的大模型推理无人机视觉语言导航
人工智能·具身智能
咯咯咯伦1 小时前
AI神了,一键视频下载+翻译+配音+字幕!(整合包)
人工智能
愚者大大2 小时前
优化算法(SGD,RMSProp,Ada)
人工智能·算法·机器学习
人类群星闪耀时2 小时前
基于AI的网络流量分析:构建智能化运维体系
运维·人工智能
dundunmm2 小时前
数据挖掘之认识数据
人工智能·机器学习·信息可视化·数据挖掘
FBI78098045942 小时前
API接口在电商行业中的创新应用与趋势
运维·网络·人工智能·爬虫·python
Sword992 小时前
豆包 MarsCode AI Apply功能揭秘:自动代码应用与 Diff 实现
前端·人工智能·豆包marscode