NLP论文速读|基于主动检索的渐进多模态推理

论文速读 |Progressive Multimodal Reasoning via Active Retrieval

论文信息:

简介:

本文探讨了多步多模态推理任务对于多模态大型语言模型(MLLMs)的挑战,特别是在提升这些模型在复杂推理场景中的表现方面。MLLMs在处理涉及数学推理和视觉问答等任务时,需要进行多步骤推理,每一步都可能产生多个分支和候选推理路径。有效地识别包含关键问题解决步骤的正确路径,同时排除错误路径,对于模型的推理能力至关重要。然而,现有的方法在推理路径扩展和模拟过程中存在局限性,尤其是在多模态场景中,模型内部知识不足以支持推理路径扩展,因为不同模态输入之间的交互常常出现错位。

本文的动机在于现有的MLLMs在处理多模态复杂推理任务时,由于模型内部知识的不足,导致在推理路径扩展时遇到困难。此外,手动标注推理路径需要大量的人力资源,限制了其可扩展性和适用性。为了克服这些挑战,本文提出了一种结合主动检索(AR)和蒙特卡洛树搜索(MCTS)的框架,以期通过检索外部知识来增强推理路径扩展的质量,并改善MLLMs在复杂多模态推理中的能力。

论文方法:

本文提出了一个名为AR-MCTS的通用框架,该框架通过AR和MCTS逐步提高MLLMs的复杂推理能力。

具体方法包括以下几个关键组件和步骤:

**1)统一检索模块:**开发了一个统一的检索模块,从混合模态检索语料库中检索解决复杂推理问题的关键支持性见解。

**2)MCTS算法与主动检索机制:**采用MCTS算法结合主动检索机制,自动生成步骤级注释,动态检索每个推理步骤的关键见解,超越传统的束搜索采样,以提高推理空间的多样性和可靠性。

**3)过程奖励模型:**引入了一个过程奖励模型,通过逐步对齐来支持多模态推理任务的自动验证。

论文实验:

AR-MCTS在各种MLLMs和推理验证策略上显著提高了多模态推理性能。特别是,与自我修正策略相比,AR-MCTS在MATHVISTA和WE-MATH基准测试上显示出更明显的优势。

自我修正策略在两个推理基准测试中表现不佳,尤其是在参数较少的开源MLLMs上,性能下降更为显著。

在WE-MATH基准测试中,AR-MCTS结合PRM在S3指标上显示出比ORM更大的性能提升,这表明PRM在多步推理任务中能更好地对齐。

与较强的模型相比,较弱的MLLMs(如Qwen2-VL-7B)在使用AR-MCTS后显示出显著的性能提升,这表明AR-MCTS能够更有效地释放较弱MLLMs的推理潜力。

论文链接:https://arxiv.org/pdf/2412.14835
相关推荐
CoovallyAIHub9 分钟前
英伟达ViPE重磅发布!解决3D感知难题,SLAM+深度学习完美融合(附带数据集下载地址)
深度学习·算法·计算机视觉
aneasystone本尊1 小时前
学习 Chat2Graph 的知识库服务
人工智能
IT_陈寒2 小时前
Redis 性能翻倍的 7 个冷门技巧,第 5 个大多数人都不知道!
前端·人工智能·后端
飞哥数智坊12 小时前
GPT-5-Codex 发布,Codex 正在取代 Claude
人工智能·ai编程
倔强青铜三12 小时前
苦练Python第46天:文件写入与上下文管理器
人工智能·python·面试
虫无涯13 小时前
Dify Agent + AntV 实战:从 0 到 1 打造数据可视化解决方案
人工智能
Dm_dotnet15 小时前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算15 小时前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心15 小时前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar16 小时前
交叉熵:深度学习中最常用的损失函数
人工智能