ChartPoint：用定位反射指导多模态大语言模型进行图表推理（翻译与解读）

声明：本文是对论文 ChartPoint: Guiding MLLMs with Grounding Reflection for Chart Reasoning 的中文解读，仅供学习交流使用。版权归原作者所有，翻译如有疏漏以原文为准。

原文链接 ： $2512.00305$ ChartPoint: Guiding MLLMs with Grounding Reflection for Chart Reasoning

收录会议：ICCV 2025

一、论文信息

项目	内容
中文标题	ChartPoint：用定位反射指导多模态大语言模型进行图表推理
英文标题	ChartPoint: Guiding MLLMs with Grounding Reflection for Chart Reasoning
作者	Zhengzhuo Xu, SiNan Du, Yiyan Qi, Siwen Lu, Chengjin Xu, Chun Yuan, Jian Guo
机构	清华大学、国际数字经济学院、北京航空航天大学、香港科技大学（广州）
arXiv	arXiv:2512.00305
会议	ICCV 2025

二、一句话概括

以前的模型是"闭着眼"根据 OCR 文字猜数字；这篇论文让模型"睁着眼"指着图表上的位置算数字，并且画完框后还要再看一眼再继续算。

三、背景痛点

多模态大语言模型在处理图表时严重依赖 OCR 提取的文字。当图表上的柱子、折线没有直接标注具体数值时，模型就开始产生数值幻觉------给出看似合理但实际错误的数字。

现有方法（增加指令数据、提高分辨率、改进对齐训练）都治标不治本。根本原因在于：模型的推理过程与视觉感知是脱节的------它虽然在"想"，但并没有真正在"看"。

作者做了一个关键实验：让模型在推理时同时输出每一步对应的图表位置（用边界框表示）。结果，模型要么忽略这个要求，要么乱指一通。这说明：思维链只是增加了推理长度，但并未让模型真正与视觉编码器形成有效互动。

四、创新点：PointCoT

用一句话说清楚创新点：在思维链的每一步中，强制模型输出边界框（BBox）并重渲染图表形成视觉反馈。

4.1 方法概述

【原文翻译】

研究者通过在 CoT 中加入反射式交互过程来增强它，让模型输出边界框并与重渲染的图表互动，称为 PointCoT。该方法通过结构化的推理过程增强模型的推理链，并引入了一条自动化标注流水线。

流水线包含四个阶段：

步骤分解：用 LLM 根据绘图代码生成问答对和推理步骤，将每步标记为 Grounding（定位）或 Reasoning（推理）
代码编辑 ：修改原始代码，在 Grounding 步骤对应位置插入特殊符号（如 @）
代码渲染 ：执行修改后的代码，生成带 @ 符号的新图表
位置定位 ：用 OCR 识别 @ 符号位置，自动获得边界框坐标

【解读】

这不是简单的"改提示词"------而是在训练环节把"画框"能力植入模型。

训练环节（核心）：构建包含 6.2 万条"带边界框标准答案"的数据集，通过监督微调把"看图→定位→推理"的能力写入模型权重
推理环节（辅助）：测试时用专门的提示词要求模型输出边界框。但图 6 显示，不经过微调的 GPT-4o 和原版 Qwen2.5-VL 根本不理睬这个要求；只有经过微调的 ChartPoint 才会乖乖听话

自动化标注流水线的巧妙之处 ：不需要人工标注位置，而是利用生成图表的"源代码"------在代码里埋个 @，渲染后用 OCR 反向提取坐标，位置就是标准答案。

五、核心数学公式

5.1 坐标归一化（表 7）

论文比较了三种 BBox 坐标表示法：

类型 A：归一化到 $0,1$ ，保留 4 位小数 → 提升 0.52%
类型 B：归一化到 $0,1$ ，保留 3 位小数 → 提升 1.26%
类型 C（最优）：0--999 整数 → 提升 1.68%

原因：Qwen 的令牌化器将小数按三位分段（如 "0.1234" → "0" 、 "." 、 "123" 、 "4"），增加训练难度。0--999 整数与基座预训练坐标格式一致，效果最佳。

5.2 边界框表示

5.3 宽松准确率

设预测值为 p，真实值为 g：

其中 ττ 取 0.05、0.10、0.20。允许数值估计的微小偏差（例如视觉上估计柱高为 3.1 而真实值为 3.0 也算对），适合评估视觉估计任务。

六、实验结论

6.1 主实验结果

基准	基座模型	ChartPoint	提升
ChartQA（含文字标注）	Qwen2-VL 83.16%	85.28%	+2.12%
ChartQA	Qwen2.5-VL 86.36%	87.74%	+1.38%
ChartBench（无文字标注）	Qwen2-VL 58.90%	62.61%	+3.71%
ChartBench	Qwen2.5-VL 60.91%	65.95%	+5.04%

解读：ChartBench 无数据点标注，更考验视觉估计能力，因此 PointCoT 的优势被充分放大。在额外类型图表上提升高达 7.77%，说明学到的不是过拟合，而是泛化的定位-推理能力。

6.2 消融实验

训练设置	ChartBench 提升
仅第一阶段对齐	+0.58%
+ 纯文本 CoT	+0.76%
+ PointCoT	+3.71%

解读：纯文本 CoT 几乎没用，关键变量是定位监督 ------边界框的引入。图表理解瓶颈是视觉定位能力，而非推理能力。

6.3 基座模型依赖

定位能力弱的模型（Qwen-VL v1、ChartMoE）上 PointCoT 提升 < 0.5%
定位能力强的模型（Qwen2-VL、Qwen2.5-VL）上提升 > 1%

结论：PointCoT 是"锦上添花"，需要基座模型本身具备定位能力。

6.4 案例可视化（图 6）

对比 GPT-4o、Qwen2.5-VL-72B 和 ChartPointQ2.5，要求同时输出推理和边界框。只有 ChartPoint 按要求输出边界框，提取的数值更精确。

结论："推理时定位"不是大模型的天然能力，需要专门训练。

七、总结

核心贡献

维度	内容
方法创新	将视觉定位从辅助能力提升为推理过程的核心组成部分
工程创新	利用"代码-图像"配对实现自动化边界框标注，无需人工
性能提升	ChartBench 上 +5.04%，尤其擅长无文字标注图表
可解释性	模型输出边界框作为推理证据，用户可验证其关注区域

局限性

依赖基座模型固有定位能力（需 Qwen2-VL 及以上）
坐标表示格式需与基座令牌化器适配

启示

推理必须可验证：用户应能看到模型依据的视觉区域
自动化数据构建范式可推广到其他有"代码-渲染"配对的领域
思路可迁移：文档理解、场景理解等需要精确定位的任务