推理时计算扩展
模型处理一道题时，额外计算可以用来增加尝试、修改答案、比较候选或者搜索路径。
| 论文 | 核心问题 |
|---|---|
| Large Language Monkeys | 多尝试几次，能增加多少解题机会？ |
| Archon | 生成、批评、排序、融合，应该怎样组合？ |
| Snell 等的 Compute-optimal Scaling | 给定预算，什么策略适合什么题？ |
| Power Laws | 为什么整个题库的收益曲线呈现特定规律？ |
Large Language Monkeys
- 来自于一个著名的概率论思想实验：无限猴子定理。如果让一只（或无数只）猴子在打字机前随机按键，当按键时间达到无限长时，它们几乎必然能够打出任何给定的文字，包括威廉·莎士比亚的全套著作。
核心是无限采样。即通过多生成一些答案，改善"找到解法的机会"。
两个不同的瓶颈是：
- 生成瓶颈：候选里没有正确的解法
- 选择瓶颈：正确解法已经初选，但没有被选中
对应两个能力：
- Coverage：候选中能否出现正确答案
- Precision：系统能否识别并选中正确候选
Archon：把推理流程本身作为设计和搜索的对象
- Monkeys 的关键实验现象是，在部分数学设置中，增加采样仍能提高候选覆盖，但投票或者论文所测奖励模型的选择效果较早饱和。
architecture：模型调用组成的系统结构。
e.g 任务 - 生成多个候选 - 批评各候选 - 推荐并保留部分候选 - 融合成新答案 - 检查并交付
snell：即使流程已经选好，也不应默认每道题采用相同的计算方式
compute-optimal：在给定计算预算内，寻找效果最好的策略。
额外计算：
- 并行尝试：生成多个完整候选。探索不同解法，需要做选择
- 顺序修订：根据已有答案继续修改。可以修复局部错误，也可能固守原有错误
- 验证器引导搜索：给候选或步骤评分，决定继续探索哪里。 可以利用中间信号，也可能被错误评分误导
较好的推理策略随着题目难度和计算预算而变化。在部分设置下，合理分配计算比统一采用 best-of-N（生成N个候选，再按评分选一个）
Power Laws：从一道题转向多个题库，解释收益曲线
假设题库同时包含容易、中等和困难的题。
开始增加采样时，许多容易题很快被覆盖。继续增加采样，剩余题目会越来越集中在模型难以解决的那部分。因此，同样增加一批尝试，后期可能只是新增少量覆盖。
但"收益递减"还不足以证明幂律，每道题可以有不同的单次成功概率；当低成功概率题目的分布满足特定条件时，跨题聚合的未覆盖率可以呈现近似幂律。
即：在某段范围内，采样次数每乘以一个固定倍数，未覆盖比例近似乘以某个固定比例。
Homework1
- 想比较多数投票和模型选择，则让他们先处理同一批候选，更容易判断差异来自选择方法，还是来自两次采样碰巧生成了不同的答案。
- 想比较完整系统，则还要把生成、批评、选择等环节的费用都算进去，一次阅读很多候选的评审调用，可能比一次短回答更贵，相同调用次数的并行流程和串行流程，延迟也可能不同。
实践记录：
- 候选覆盖
- 最终准确率
- token与费用
- 延迟