🔹定义
Test-time compute（测试时计算） 指的是：
在 推理阶段（inference/test time） ，模型可以根据任务的复杂度 动态分配更多或更少的计算资源，而不是像传统模型那样对所有输入一视同仁地消耗同样的算力。
简单说：
- 以前：模型接收一句话 → 固定调用一整套网络层（算力固定）。
- 现在：模型接收一句话 → 判断难度 → 选择多走几步推理 / 启动更大的子模型 / 重复思考几次。
🔹举例
-
简单问题 ：
输入：
2+2=?→ 轻量模型一次推理即可，耗费极少算力。
-
复杂问题 ：
输入：
请分析中国、美国和欧盟在AI治理上的政策差异并预测未来发展方向→ 模型会调用更深的推理路径（多轮思考、调用大模型），甚至生成中间步骤，再输出最终答案。
这就像人类做题：
- 简单算术 → 秒答
- 高数/论文 → 多写草稿、多推导几步
🔹实现方式
目前业界常见的 test-time compute 技术包括：
-
Mixture of Experts（专家混合）
- 模型里有很多子模型（专家），输入时只激活少部分专家，按需调用。
- GPT-5 就采用了这种方式。
-
动态深度（Dynamic Depth）
- 有的样本只过少数层，有的样本走完整层网络。
-
多步推理（Multi-step Reasoning）
- 模型在遇到复杂问题时，会"想多几步"，即生成中间推理链路再得出答案。
-
自适应计算（Adaptive Computation）
- 根据任务动态调整推理时的计算预算，例如少样本学习 vs 复杂推理。
🔹优势
- 计算效率高：简单问题用小算力，复杂问题才用大算力。
- 效果更好：遇到复杂任务时模型可以"多花时间思考"，提高准确率。
- 资源可控：企业可以根据任务场景控制消耗，降低成本。
🔹挑战
- 实现复杂：需要额外的路由机制，决定"何时用多少算力"。
- 延迟不确定：用户可能得到快答（简单问题）或慢答（复杂问题）。
- 能耗增加：整体上，复杂任务的能耗比固定推理更高（GPT-5 已表现出高能耗问题）。
✅ 一句话总结 ：
Test-time compute 就是让大模型在推理阶段"遇强则强"，根据任务难度动态增加或减少算力投入，从而兼顾效率与准确性。