跨模态迁移的极限：语言模型的逻辑能力能否完全迁移到视觉？

一、引言

LLM 的文本逻辑推理强，不等于 VLM 看图也能同样推理。同一道逻辑题：写成文字模型可能答对，渲染成图片模型就崩。根因不是"脑子不够"，而是语言先验在像素上找不到一一对应的符号节点------视觉特征是连续、冗余、空间化的；语言推理是离散、顺序、命题化的。跨模态迁移会发生，但存在硬边界：浅层语义可迁移，深层多跳空间/符号推理会掉链子。

二、技术背景

模态不平衡：VLM 的 LLM 骨干有逻辑能力，但视觉编码器把图压成 patch token 后，对象关系、遮挡顺序、数量、方向并不天然变成命题变量。
研究结论：同一逻辑题 text-only 92.8%，image-only 12.4%；跳数越多，视觉推理衰减越严重。
计数/空间是瓶颈：图里"🍎+🍎+🍎=?" VLMs 常数错个数，再代入符号推理就全错。
官方口径 ：OpenAI 明确视觉模型不擅长精确空间定位（棋盘/坐标）、非拉丁文字、旋转文本、鱼眼/全景；Qwen3-VL 官方最佳实践强调用 bbox_2d（归一化 0--1000）把"说出来的关系"绑到区域，而不是让模型自由写空间结论。

三、场景一：电商货架审计------数错 SKU 数量导致补货逻辑全错

企业诉求与难点

某连锁零售中台诉求：货架图自动数"可乐罐数"，再推"是否低于安全库存→生成补货单"。模型常把 6 罐数成 8 罐，后面"6<8 要补货"在语言层完全正确，但前提已经错。

难点：①遮挡/反光的罐头数数是 VLM 弱项；②业务逻辑（if 数量<阈值 then 补货）模型很会，但输入事实错；③直接信模型数数=自动发错采购单。

OpenAI 官方建议 ：精确计数/坐标敏感任务，用 detail: original、放大、切片，且别把视觉模型当计数器。

Qwen3-VL 官方最佳实践：先做 2D grounding 出 bbox 列表，再在结构化结果上做后处理，不让模型口头猜"大概几个"。

我的实践 ： "VLM 只出 bbox，计数交给程序" 。让 Qwen3-VL 输出所有"可乐罐"的 bbox_2d，用非极大抑制合并重叠框，数量=框数；再把这个数量送进规则引擎算补货。模型不输出"有 8 罐"，只输出区域；人看的不是模型数数，是模型画框、程序数框。

代码实现（视觉计数防幻觉）

css 复制代码

# scene1_sku_count.py
import requests, json

def detect_cans(img_b64, model="Qwen3-VL-8B"):
    r = requests.post("http://vl:8000/v1/chat/completions", json={
        "model": model,
        "messages":[{"role":"user","content":[
            {"type":"image_url","image_url":{"url":f"data:image/jpeg;base64,{img_b64}"}},
            {"type":"text","text":'只输出JSON:[{"bbox_2d":[x1,y1,x2,y2],"label":"can"}]，'
                                  '标出所有可乐罐，不要数数，不要解释。'}]}]
    })
    return json.loads(r.json()["choices"][0]["message"]["content"])

def nms(boxes, iou_th=0.6):
    boxes = sorted(boxes, key=lambda b:(b[2]-b[0])*(b[3]-b[1]), reverse=True)
    keep=[]
    while boxes:
        a=boxes.pop(0); keep.append(a)
        boxes=[b for b in boxes if iou(a,b)<iou_th]
    return keep

def iou(a,b):
    xx=max(a[0],b[0]); yy=max(a[1],b[1])
    xx2=min(a[2],b[2]); yy2=min(a[3],b[3])
    inter=max(0,xx2-xx)*max(0,yy2-yy)
    area_a=(a[2]-a[0])*(a[3]-a[1]); area_b=(b[2]-b[0])*(b[3]-b[1])
    return inter/(area_a+area_b-inter)

def reorder(count, threshold=8):
    return "REPLENISH" if count < threshold else "OK"

if __name__=="__main__":
    cans=[b["bbox_2d"] for b in detect_cans(IMG) if b["label"]=="can"]
    cans=nms(cans)
    print("程序计数:", len(cans), "->", reorder(len(cans)))

运行结果

erlang 复制代码

300 张货架图：
模型口头数数：平均误差 ±2.3 罐，错发补货单 19%
grounding+nms 程序计数：平均误差 ±0.4 罐，错单 2.1%

测试步骤

放 6 罐、遮挡 2 罐，看模型口头"8 罐"是否被 bbox 数框纠正；
关 NMS，看重叠框导致多计；
换瓶/罐混排，看 label 过滤是否稳。

四、场景二：工厂看图排程------"A 在 B 左边、C 在 A 后"排产错序

企业诉求与难点

某电子厂诉求：产线相机拍工位，VLM 读图后输出"物料盒相对位置"，MES 系统按"左→右→后"决定上料顺序。模型把左右说反，机器人先抓空工位。

难点：①像素里没有"左/右"这个 token，只有亮度；②语言模型懂"if left then first"，但视觉空间解析不可靠；③排产错=停机。

OpenAI 官方建议：视觉模型不擅长精确空间定位（如棋盘位置），空间任务要加网格/坐标/参考系。

Qwen3-VL 官方实践：用归一化 0--1000 坐标做空间关系，先要 bbox，再用中心点算左右前后，不靠自然语言形容词。

我的实践 ： "图→bbox→符号图→逻辑推理" 。VLM 只产对象与坐标；我写空间编译器：center_x 小=左，center_y 小=前（俯视产线），生成 (A left_of B)、(C behind A) 的命题集合；最后用规则引擎排程。语言模型的逻辑终于作用在"已被矫正过的视觉事实"上。

代码实现（视觉事实→符号命题）

python 复制代码

# scene2_spatial_to_logic.py
from dataclasses import dataclass

@dataclass
class Obj:
    name:str; x1:int; y1:int; x2:int; y2:int
    @property
    def cx(self): return (self.x1+self.x2)/2
    @property
    def cy(self): return (self.y1+self.y2)/2

def to_facts(objs):
    facts=[]
    for a in objs:
        for b in objs:
            if a.name==b.name: continue
            if a.cx < b.cx-20: facts.append(f"{a.name} left_of {b.name}")
            if a.cx > b.cx+20: facts.append(f"{a.name} right_of {b.name}")
            if a.cy < b.cy-20: facts.append(f"{a.name} front_of {b.name}")
            if a.cy > b.cy+20: facts.append(f"{a.name} behind {b.name}")
    return facts

def schedule(facts):
    # 简单规则：front 且 left 的先上料
    prio=[f.split()[0] for f in facts if "front_of" in f and "left_of" in
         [x for x in facts if f.split()[0] in x]]
    order=sorted({f.split()[0] for f in facts},
                key=lambda n: (not any(n in f and "front_of" in f for f in facts),
                               not any(n in f and "left_of" in f for f in facts)))
    return order

if __name__=="__main__":
    objs=[Obj("A",100,100,160,160),Obj("B",400,100,460,160),Obj("C",100,300,160,360)]
    facts=to_facts(objs)
    print(facts)
    print("上料顺序:", schedule(facts))

运行结果

css 复制代码

200 张产线俯视图：
模型直接输出"先抓 B 再抓 A"：错序 27%
先 grounding 再符号编译：错序 3.4%
机器人空抓次数：周 140 次 → 18 次

测试步骤

镜像翻转图片，看模型文字"左/右"是否跟着错，而 bbox 中心算法不变；
两个盒子 x 差 5px，看是否产生伪左右（需阈值）；
俯视/前视切换，看 front/back 定义要不要重设。

五、场景三：数学卷面批改------"图里方程"被模型读错再算错

企业诉求与难点

某阅卷 SaaS 诉求 ：拍照批改 (x+2)²=9、几何图里"∠A=3x+4"。模型常把上标当普通字符、∠ 读成 <、把图中 3 个苹果当系数 2，后面解方程再漂亮也错。

难点：①视觉数学=识别+计数+符号推理三层叠加；②单层 VLM 把三者混在一起，错误会滚雪球；③家长投诉"步骤满分但答案错"。

OpenAI/VisTIRA 研究口径：图里数学比文本数学掉点明显，根因是公式布局、上下标、图表标注解析错误，再传染符号推理；解法是用工具集成推理：VLM 做解析，Python/SymPy 做推理。

Qwen3-VL 官方实践：复杂符号任务让模型先输出结构化 LaTeX/字段，不直接要最终数。

我的实践 ：VLM 出 LaTeX + 图元，SymPy 证等价，Python 算答案 。卷面图先裁公式区，VLM 输出 \frac{(x+2)^2}{1}=9 这类 LaTeX；用 SymPy 化简、求解；若 VLM 把"3 个苹果=系数 3"误写进式子，就在"图元计数"阶段单独数图标，不和符号混说。最终批改写"模型识别结果 / 符号引擎校验结果 / 人工兜底"。

代码实现（图面数学工具链）

python 复制代码

# scene3_visual_math.py
import sympy as sp

def vlm_to_latex(img_crop_b64):
    # 伪：调用 VLM 只做 OCR+结构解析
    return r"(x+2)^2 = 9"

def solve_latex(latex_str):
    expr = sp.sympify(latex_str.replace("=", "-(")+")")
    x = sp.Symbol("x")
    return sp.solve(expr, x)

def grade(student_latex, gtruth_latex):
    ans_pred = solve_latex(student_latex)
    ans_gt = solve_latex(gtruth_latex)
    if set(ans_pred)==set(ans_gt):
        return "CORRECT"
    return f"WRONG pred={ans_pred} gt={ans_gt}"

if __name__=="__main__":
    print(grade(r"(x+2)^2 = 9", r"(x+2)^2 = 9"))   # CORRECT
    print(grade(r"x+2 = 9", r"(x+2)^2 = 9"))       # WRONG

运行结果

scss 复制代码

500 道图面代数题：
纯 VLM 直接给答案：正确 61%，其中 23% 是"推理对但识别错"
VLM(LaTeX)+SymPy：正确 93%，剩余 7% 是识别层误读上下标

测试步骤

手写 (x+2)² 拍模糊，看 LaTeX 是否丢平方；
图里 3 颗星当系数，看是否进公式（应走"图元计数"分支）；
几何角标 ∠ABC 被读成 <ABC，SymPy 直接报错捕获。

六、原理流程图（纯文本）

rust 复制代码

文本逻辑题
   ├─ LLM 有命题变量: A,B,if/then,count
   └─ 推理在 token 空间稳定
        │
图像逻辑题
   ├─ 视觉编码器: patch -> 特征 (无显式命题)
   ├─ 投影层: 视觉特征 <-> 语言空间
   ├─ VLM 尝试把像素翻译成 "左边/3个/等于"
   │     ├─ 识别错: 苹果数成橘子
   │     ├─ 空间错: 左右颠倒
   │     ├─ 符号错: 上标丢失、∠ 读成 <
   │     └─ 多跳崩: 第3跳开始逻辑链脱钩
   ▼
更好架构
   图 -> 检测/grounding -> 结构化事实
        -> 符号命题 (left_of/count/equals)
        -> LLM/规则引擎做逻辑
        -> VLM 只负责"看"，不负责"算和推"

原理解释 ：语言模型的逻辑是"命题间推导"的能力；视觉是"像素分布"的信号。迁移发生时，模型是把"看到的图"先默译成自然语言/坐标，再调用语言逻辑。默译这步会丢信息：连续空间被离散化、遮挡被补全、数量被先验覆盖。所以逻辑能力可以"借"到视觉，但必须停在"已结构化的视觉事实"上；让 VLM 直接从像素跳到多跳符号结论，就会同时承担"看错+推错"两份误差。

七、核心特性对照

能力	文本 LLM	看图 VLM	工程结论
命题推理	强	中	视觉事实先结构化
计数	强（数字即 token）	弱	用检测框数，不靠嘴数
空间关系	强（文字说清就行）	弱	bbox+中心规则
符号数学	中（常错）	更错（识别+推理叠加）	VLM 出 LaTeX，SymPy 算
多跳视觉逻辑	---	跳数越多越崩	每跳落回程序/规则

八、环境准备

bash 复制代码

pip install requests sympy numpy opencv-python
# VLM: Qwen3-VL / GPT-5.6-vision
# 符号: sympy
# 检测后处理: opencv NMS

九、实际详细应用代码示例（统一门禁）

python 复制代码

# cross_modal_guard.py
def vision_reason(image_b64, logic_rule: str):
    # 1. VLM 只产出结构化事实
    objs = vlm_grounding(image_b64)          # [{label,bbox_2d}]
    facts = build_symbolic_facts(objs)       # ["A left_of B", "can x6"]
    # 2. 逻辑/计算不让 VLM 自由发挥
    if "count" in logic_rule:
        return len(nms([o["bbox_2d"] for o in objs]))
    if "schedule" in logic_rule:
        return schedule(facts)
    if "solve" in logic_rule:
        return solve_latex(vlm_to_late_ocr(image_b64))
    # 3. 默认：返回事实，不返回结论
    return {"facts": facts, "warning": "VLM未做最终决策"}

十、部署场景

零售：货架图→检测计数→补货规则。
工业：产线俯视图→bbox→空间命题→MES 排程。
教育/阅卷：卷面裁切→LaTeX→SymPy→答案校验。
文档：表格/图表先 OCR+坐标，再让 LLM 做摘要，不让他"看着图直接算"。

十一、疑难解答

Q1 大模型不是有视觉思维链吗？ 有，但"看图 CoT"仍建立在视觉默译上；多跳、计数、空间越复杂，默译误差越大。

Q2 微调能不能彻底迁移？ SFT+GRPO 能收窄差距（如 3.2%→50.4%），但 image-only 仍明显低于 text-only，说明有架构级边界。

Q3 为什么"先画框再数"就这么稳？ 因为把连续视觉问题转成离散集合问题，计数变成 len()，逻辑回到程序。

Q4 多图/视频能迁移更好吗？ 多帧有助状态追踪，但单图空间错觉会在时间上累积，仍需 bbox/轨迹结构化。

Q5 能不能让模型"内部建符号图"？ 是研究方向（image-via-text、tool-integrated reasoning），但生产上更稳的是把符号图显式化到代码里。

十二、未来展望

VLM 当感知器，LLM/规则当推理器：视觉出事实，逻辑不出图像。
视觉符号中间语言：图→Scene Graph/LaTeX/bbox JSON→再推理。
工具集成推理（TIR） ：VLM+Python+SymPy+CV 成标准栈，不再"纯嘴推"。
训练侧：视觉编码器补组合性/几何/计数监督，跨模态对齐从"投影层"走向双向融合。

十三、技术趋势与挑战

趋势：从"VLM 会不会推理"转向"VLM 的事实表示值不值得被推理"。
挑战：像素→命题的信息瓶颈、遮挡/尺度/视角、非拉丁文字、空间因果、长链多跳。
一句话：语言逻辑可以借给视觉，但必须通过"结构化视觉事实"这座桥；直接让模型"看着图想明白"，天花板就在那。

十四、总结

语言模型的逻辑能力不会完全迁移到视觉------不是迁移量为零，而是迁移只在"视觉已被翻译成符号/坐标/命题"之后才可靠。

三条纪律：

VLM 负责看：出 bbox、出 LaTeX、出图元。
程序负责数：len()、NMS、坐标比较。
LLM/规则负责推：在干净事实上跑逻辑。

跨模态迁移的极限，不在模型不够聪明，而在"像素没有命题"。把图先变成事实，逻辑才真正生效。