💡 一句话总结:让 AI 展示推理过程(思维链)是提升准确率的标配,但 CoT 是「写作文」------冗长、烧 token,多模态场景下还把视觉细节稀释在文字里。DRT 换了个表达层:让模型用紧凑的结构化格式思考(观察归观察、推理归推理、符号做连接)。结果:token 省 5.5 倍,准确率反而涨。思维链的形态,可能从一开始就选错了。
导语:思维链的「文学税」
「请一步步思考」------CoT 提示是 AI 推理的标配。但观察 CoT 的输出,它本质上是在写小作文:「首先,我注意到图片中有一个红色的杯子,杯子旁边有一张桌子,桌子上有......」
这种自然语言推理有三个隐藏成本:
- Token 账单:长 CoT 的推理成本可能是答案本身的几十倍
- 信息稀释:关键信号淹没在修辞里------尤其多模态场景,「看到什么」和「推出什么」混在一堆文字里
- 幻觉温床:为了行文流畅,模型倾向于「补写」并没有真正观察到的细节
哈工大联合字节团队的 DRT(Dense Reasoning Trace)从表达层动手:思考为什么非得是作文?换成结构化数据格式不行吗?
想看原文?
- 📄 论文:arXiv 2609.21675
- 💻 代码:github.com/HIT-leaderone/DRT
它的思路是什么?
- 📋 密集推理迹(DRT 格式) :推理输出改为紧凑结构化迹------视觉观察(看到了什么)与逻辑推演(推出什么)解耦成独立条目,用符号连接符串起中间状态。同样是推理,从散文变成结构化日志
- 🧠 先内化再强化:两阶段训练------先用密集迹初始化让模型「学会这种思考方式」,再用 Trace-Grounded GRPO 强化学习:参考迹经三视角验证管线构建,结构化奖励同时要求简洁、低幻觉、强逻辑 grounding
- 🔒 观察不可造假:因为观察与推理解耦,每一步「看到了什么」都可以单独对照图像验证------幻觉无处藏身
效果到底怎么样?
- ⚡ Token 效率 5.5×:同样一道题,DRT 迹的长度只有自然语言 CoT 的零头
- 📈 精度不降反升:比 Qwen3-VL 基线高 1.3 个点------「想得更密」不等于「想得更差」
- 🎯 幻觉下降、grounding 增强:结构化观察条目让模型不敢编造没看到的细节
为什么你要关心?
- 🏗️ 「推理必须说人话」是个未被质疑的默认:DRT 证明推理可以换成机器友好的表达------对 agent 系统来说,中间思考本来就是给下游模型读的,人话是奢侈品
- 💸 Token 成本砍 80% 的诱惑:长推理链的 API 账单里,思考过程占大头------密集迹格式直接作用于成本结构
- 🔍 可审计性红利:观察/推理解耦的迹天然支持逐步审计------医疗、金融等需要「检查 AI 怎么想的」的场景,这个格式比散文友好得多
理性看待
冷静看三点:迹格式目前人工设计,开放域任务的格式泛化待验证;验证集中于数学与图表推理基准,自然图像场景的表现未知;对「可读性」的牺牲意味着人类调试时需要适应。但「推理的表达形式本身是设计自由度」这个洞见足够范式级:CoT 教会了模型思考,DRT 在追问------思考一定需要散文吗?