给大模型一堆材料、一个有争议的问题，让它给出立场和依据------这类深度研判（deep research）任务现在做得人越来越多，想做好它的建议也分三派：开深度思考、换更贵的模型、套一套研究方法论。我按这三条路做了一个 216 次调用的对照实验，用 Seed 2.1 lite 和 pro 两档模型、八种配置对着标准答案算正确率。结论先给出：思考开关的收益最大，且几乎不额外花钱；换模型有效，但每块钱买到的提升最少；方法论的收益取决于配置------弱配置靠它补短板，强配置上它推不动推理结果，但能明显改善证据的规范性。
这个排序不是体感。体感在单样本上靠不住：一次答对可能是运气，一次答错可能是检索没把段落送进来。要回答「哪个有用」，需要把三个因素同时放进对照，让差异只来自被考察的变量。下面交代怎么做到的、测出了什么、机制上为什么，以及这份数据允许我们说到哪一步。
1. 任务与数据：先说清实验衡量什么
材料是一份开源情报研判的样例数据集。每个事件配几十到上百篇原始报道，官方通报、权威媒体、自媒体、境外报道混在一起；每个事件附三道有争议的问题，每题有人工标注的标准答案。标准答案包含三部分：正确立场（在给出的几种说法之间选边、判定几种说法并立、或判定证据不足；同一事实的不同统计方式在业内称「口径」）、支撑与冲突事实清单（定位到具体文档和段落）、冲突消解类型（去同源多数投票、来源优先级、时效性、语义可信度等五类）。
我选了三个事件，规模和题型刻意错开：
| 事件 | 文档数 | 材料规模 | 题型 |
|---|---|---|---|
| 吉隆口岸泥石流 | 137 | 约 41 万 token | 数字滚动更新、竞争成因假说 |
| 刘翔编制「二选一」 | 53 | 约 7 万 token | 双方口径对峙，含一题「素材不足以判定」 |
| 印度航空 AI171 空难 | 52 | 约 9 万 token | 技术归因，冲突证据最多的一题有 11 对 11 |
最大的事件约 41 万 token，超出单次上下文能装下的量。这不是缺陷，是这类任务的本来面目：深度研判不是把材料一股脑塞进去，而是先检索再研判。所以我用确定性检索器（中文 bigram BM25，标题+段落索引，零模型调用）给每道题预先冻结一个约 2.6 万字符的段落包，八种配置收到的是同一份包。这样检索质量成了常量，配置之间的差距只能来自模型、思考、方法论三个因素。
实验没有衡量什么，也要先说清：它衡量的是「给定检索结果之后的研判质量」，不衡量检索器本身的好坏。段落包对标准证据清单的覆盖率均值只有 0.65（聚合型大文档的表格行、同源转载的冗余，词面检索天然吃亏），这个上限会压低所有配置的证据召回，但不影响配置之间的相对比较。
2. 八种配置与评分口径
三个因素二水平全组合：模型（lite/pro）× 思考开关（关/开）× 方法论（朴素直问/五步研判法），共八种配置；九道题，每题每配置重复三次，合计 216 次调用，temperature 0.3，全部走方舟 agent plan 订阅端点。
朴素直问版提示词一句话：这是材料、这是问题和选项，给结论。五步研判法版在其前加一页协议：逐证抽取并逐字引用，证据分支撑/冲突两桶，识别同源转发防止转载数量冒充多数，按四类判据消解并注明类型，证据不足必须输出「不可判定」。两版的材料、问题、选项、输出 JSON 格式完全一致，唯一差异是那页协议。
四个指标全部机器可算：立场判定正确率（主指标，模型输出的选项对人工标注）、证据 F1（引用定位对标准清单的查准查全）、引用逐字真实率（模型给的引文能否在所指文档中逐字找到，用来抓幻觉引用）、消解类型准确率。
跑全量之前放了两道防线。第一道是评分器自校准：把标准答案本身构造成一条运行记录喂进评分器，立场和 F1 必须满分------九题里八题满分，唯一没过的是数据集自身一条事实的引文无法在其声称的文档中逐字定位（跨文档错配，评分时按已知瑕疵单独处理）。第二道是负对照：九道题不给任何材料，lite 关思考裸问------九次全部输出「无法判定」、零引用。这批题目没有被模型参数记忆命中，实验测的是材料内的研判能力，不是背诵。
3. 结果：三问三答
216 次调用零失败，总成本按官方量价折算约 ¥19。立场判定正确率按八种配置展开：
| 配置 | 朴素直问 | 五步研判法 |
|---|---|---|
| lite 思考关 | 0.33 | 0.48 |
| lite 思考开 | 0.56 | 0.63 |
| pro 思考关 | 0.44 | 0.37 |
| pro 思考开 | 0.70 | 0.70 |
每个配置 27 次判定，误差线是题目层 bootstrap 95% 置信区间------区间普遍偏宽，九道题能给出的分辨力就这么多，后文的判断以效应量加方向一致性为主。
思考开关：+0.15 到 +0.26，且几乎免费。 它在两个模型上都是抬升最猛的单因素：lite 从 0.33/0.48 抬到 0.56/0.63，pro 从 0.44/0.37 抬到 0.70/0.70。立场正确率的配对对比中，唯一在校正前过 0.05 的就是「lite 朴素 思考关→开」（同一题同一重复，开思考答对而关思考答错 6 次，反向 0 次，McNemar p=0.031）。GEE 逻辑回归（按题聚类）里思考的主效应 OR=2.5，三个因素中最大。成本上，同档模型思考开与关单价相同，只多付思考 token 的输出量：lite 朴素配置 27 次调用，关思考 ¥0.54，开思考 ¥0.57。
还有一个质变值得单独看。吉隆那道「灾害起始时刻以官方通稿 10:30 许为准，还是以监控记录 10:52 为准」，四个关思考的配置全部答 BOTH------理由是「10:30 和 10:52 都在报道里，两口径并立」；四个开思考的配置全部答对（10:52 为灾害起点，10:30 是响应报告节点）。同一份材料里，思考开关改变的不是知识量，是把「时间线上的两个节点」和「互相冲突的两个口径」分开的能力。
换模型：+0.11 到 +0.15，代价 7 倍价差。 同配置下 lite→pro，朴素+关思考从 0.33 到 0.44，朴素+开思考从 0.56 到 0.70。方向稳定，但按量价折算，pro 配置 27 次约 ¥4.0-4.3，lite 约 ¥0.55；思考开启后单次延迟中位数 pro 130-174 秒、lite 68-72 秒。每答对一题的等价成本，lite 最优 ¥0.034，pro 最优 ¥0.224。
方法论：收益随配置变强而衰减，但证据行为始终受益。 五步研判法把 lite+关思考从 0.33 拉到 0.48（+0.15，四次配对全胜）；在 lite+开思考上还有余温（0.56→0.63）；到 pro 上，关思考时反而跌（0.44→0.37），开思考时持平（0.70→0.70）。回归里 pro×方法论的交互项 OR=0.40。
思考关闭时，协议帮 lite（0.33→0.48）却伤 pro（0.44→0.37），两条线交叉；思考开启后 pro 持平（0.70→0.70）、lite 微升（0.56→0.63）------协议的红利随思考的在场而变薄。
同时，另一组指标讲了故事的另一半：证据 F1 上，lite+关思考从 0.13 升到 0.19（Wilcoxon p=0.0048，立场之外的对比中最显著的一条）；pro+开思考的消解类型规范度从 0.56 升到 0.67。协议管不好「站队对不对」，但实实在在地管好了「引用够不够、依据留没留痕」。
把正确率和成本放到同一张图上，八种配置的性价比一目了然：
横轴是每答对一题的等价成本（¥，按官方量价折算），纵轴是立场正确率，越靠左上越划算。最左上的是 lite+五步法+开思考（0.63，¥0.034），它比 pro 裸奔（朴素+关思考，0.44，¥0.336）又准又便宜，达到顶配 pro+开思考（0.70）的九成、只花七分之一的钱。最右下的是 pro+五步法+关思考（0.37，¥0.41）------强模型配重协议却关掉思考，是花得最多、答得最差的一种组合。虚线是无材料负对照的正确率（0.22，两题碰巧答对）。
4. 两个为什么：机制层面
数据到这一步，还剩两个问题没有回答：为什么思考开关的收益最大？为什么普通模型加上方法论，推理结果仍然追不上？这节不做新实验，从任务形态和模型形态往下推。
4.1 思考补的是任务最缺的量：推理步数
研判任务的瓶颈不在信息获取------材料已经进了窗口；也不在知识------负对照显示不给材料谁都答不了。难点在关系判断：两句话到底是冲突、互补，还是同一时间线上的不同节点，需要跨段落把主体、时点、统计口径、信源对齐，再做二阶判断。这类任务天然是多跳的。
关思考的推理形态是一次前向映射：读表面语义，模式匹配出结论。这个形态处理得了语义相似，处理不了逻辑关系------「两个时间都出现在报道里」在表面语义上确实像「两口径并立」。思考开关改变的是推理时的计算量：模型先生成中间 token（抽取候选、比对、修正），再落最终答案。探针实测过这个量：lite 开思考后，一道乘法题的思考 token 从 0 涨到 630，换档位可以继续加到 869。多跳推理的错误率随跳数复合，中间 token 等于把一道难题拆成几道每步只需局部正确的易题。杠杆大，是因为它动的正是任务的命门。
换模型是另一种增益：pro 升级的是单步映射的质量，每一步更准。但当总步数是一步时，单步再准也做不了多跳------这解释了为什么 pro 关思考（0.44）反而输给 lite 开思考（0.56/0.63）：深度可以弥补质量，质量弥补不了深度。
4.2 方法论只动得了流程轴，动不了深度轴
五步研判法对模型的物理作用是可列举的：强制抽取、强制分桶、强制去重、强制标注消解类型、按固定格式输出。它是输出侧的脚手架，不是判断侧的引擎------提示词无法给模型增加推理步数。关思考时，模型仍然用一次前向映射完成所有判断，只是交付物变规范了。
所以方法论的收益天然分两种。合规性收益------引用密度、证据分桶、消解留痕------提示词直接管得到，数据支持它对任何配置都成立（§3：lite 关思考 F1 +0.06，pro 开思考消解规范度 +0.11）。判断性收益------每一步比对的质量------提示词只能说「要比较口径」，没法替模型比较口径；这一步的质量由参数和思考深度决定，提示词够不着。
这解释了收益梯度为什么随配置变：流程缺席越多，方法论补得到越多。lite+关思考是流程全无的状态，五步法把流程硬塞进来，分桶这个动作本身就把一部分推理外化了------模型不主动面对反方证据，也得面对。开思考后，模型内部已经做了抽取-比对-修正，外部流程成了重复劳动，红利归零；pro+关思考则是内部引擎撑不起严格格式，力气花在填格式而非做判断上，反而跌到 0.37。
把两根轴合在一张图上，前面所有数字都能放进去：
左：关思考时模型做一次前向映射就落答案，开思考时先生成中间 token 再串行推演，同一道起始时刻题的答案因此从「两口径并立」翻转为「监控时刻为准」。右：横轴是流程合规程度（方法论能推动的方向），纵轴是推理深度（只有思考和模型能推动的方向）；加方法论的点向右移，开思考的点向上移，pro 的配置落在右上。点位置是定性示意，标注的数字才是实测正确率。
一句话收束这一节：方法论决定流程全不全，思考和模型决定流程里每一步对不对，推理结果的上限由后者定。lite+五步法+开思考（0.63）能赢 pro 裸奔（0.44），是因为它两根轴都动了；追不上 pro+开思考（0.70），是因为深度轴的天花板仍然由模型定。
5. 一个补充探针：思考力度能分档吗
正文实验里思考只有「关/开」两档。把力度拆开探了一下：方舟 plan 端点接受 OpenAI 风格的 reasoning_effort 参数（low/medium/high/max 均合法返回，另有 budget_tokens 可控思考预算），同一道题下 lite 的思考 token 随档位单调上升------low 242、medium 355、「默认开」630、high 869；换一道更难的题，medium 与 high/max 差距拉大到约 100 对 600-700，而 max 与 high 基本重合。两个推论：实验里的「开思考」在 lite 上约等于 medium 与 high 之间，不是浅尝辄止；想再往上压，high 之外没有空间，max≈high。
pro 的表现不同：两道探针题上各档思考 token 都在 50-120，几乎不随档位变化------它对这类小题本来就想得少，分档没有生效空间。「分档加码」的收益可能是分模型的：lite 吃档位，pro 在自己判断不值得多想的任务上不吃。需要交代：这个探针每档只测 1-2 次、用的是小算术题，它回答「档位是否可控、默认档在哪」，不回答「研判任务上 medium 和 max 差几个正确率」------后者需要把两档补进九题全量对照，留给下一轮。
6. 三个值得单独说的观察
引用诚实度：八种配置全部 ≥0.978。 216 次研判里，两档模型在给定材料范围内几乎不编造引用，引文都能在所指文档里逐字找到。对研判类任务，这是底线性质的行为。
证据 F1 全体偏低（0.12-0.25），原因在结构不在模型。 标准答案的证据清单是穷举式的（一题最多 21 条），检索包对全清单的覆盖率本身只有 0.65，而决定性证据已核验在包内。八种配置同包，这个上限不扭曲对比，但它提醒一件事：拿「对齐人工标注的完整证据链」当 KPI 之前，先检查检索有没有把段落送进去。
负对照九连拒。 无材料裸问时九题全部「无法判定」、零引用。其中两题的正确答案本来就是「不可判定」，答对属于合理巧合；其余七题全部诚实拒判。这个行为和引用诚实度是同一种性格：没有材料就不编。
左：各配置证据 F1（对标准证据清单），协议类配置普遍更高。右：引用逐字真实率，全部配置贴着 1.0。
7. 这份数据允许说到哪一步
九道题 × 三次重复，是这份样例数据集能支撑的全部。
所有 p 值经 Holm 校正后均未过 0.05，本文的判断以效应量和方向一致性为主、显著性为辅；置信区间普遍偏宽，请把数字当「三个因素量级排序的证据」，不是「最终定论」。三件事如实交代：评分器自校准发现标准答案有一条引文跨文档错配（按数据瑕疵处理）；盲评（pro 对隐藏配置名的结论打分）区分度弱（各配置 12.1-12.8/15），仅作附加参考；成本为按量价折算的等价成本，实验实际走订阅额度。