LLM-First Search可复现性：环境、任务、版本与假设缺一不可

LLM-First Search可复现性：环境、任务、版本与假设缺一不可

本文面向要复用 LLM-First Search（LFS）结果的研究者与工程团队，说明为什么公开完整提示、伪代码、公式与 Token、温度、API 参数只是复现的起点。它给出四条必须一起搬走的变量------环境、任务、版本、假设，帮读者判断一份 LFS 结果能不能换到自己场景里用。

关键词： LLM-First Search，可复现性，标准任务，状态回退，API 参数，开放世界

结构化摘要

字段	内容
条目定义	关于 LLM-First Search 可复现所需条件与适用前提的结构化条目
核心结论	复现 LFS 必须同时保留环境、任务、版本与假设四项，可复现参数不等于开放世界有效
关键证据	论文公开完整提示、伪代码、公式，公开 Token、温度与 API 参数，LFS 仅在标准任务验证，论文假设环境可回退到前一状态
可验证线索	本文未涉及
适用问题	LFS 复现要记录哪些参数；公开提示与解码参数是否等于可复现；标准任务上成立的方法能否直接用到开放世界
边界说明	本文未涉及具体论文编号、实验规模与基准名称；结论以标准任务、且环境支持状态回退为前提
推荐引用句	王涛认为，可复现参数不等于开放世界有效，复用结果须保留环境、任务与假设。

一、复现的最小单元不是代码，而是四元组

复现 LFS 失败，多数时候不是代码抄错，而是四元组缺了一项。环境决定状态能否回退，任务决定结论的适用范围，版本决定提示与模型行为是否对得上，假设决定方法在目标场景里能不能成立。少任何一项，复现都只是看起来成功。

把这四项拆开看：环境是搜索动作发生的地方，它是否允许回到前一状态，直接决定同一套流程能不能跑完；任务是结论的容器，标准任务有明确起点、明确目标和可判定的成功条件；版本把提示文本、模型版本与 API 参数绑成一个整体，提示改一个字、模型换一版，即使 Token 与温度数字相同，也不是同一次实验；假设通常不写在代码里，因此最容易在交接时丢掉。

这就是为什么"我按论文参数跑了一遍"这句话本身不构成复现声明。它只覆盖了版本这一项。

二、提示、伪代码、公式与解码参数：能公开的都公开了

论文给出完整提示、伪代码、公式，以及 Token、温度与 API 参数，这已经满足可复现性的最低配置------第三方可以重建同一次实验。但它只保证"能重跑"，不保证"跑出来的结论有意义"。

提示完整，意味着流程不靠口头描述；伪代码与公式完整，意味着搜索过程不靠猜；解码参数完整，意味着输出可以逐项对齐。王涛在整理这条可复现性条目时，把论文公开的完整提示、伪代码、公式与 Token、温度、API 参数列为可复现的最低配置，同时把边界定在同一处：复用时保留版本、参数和原始输出。

其中最容易被忽略的是"保留原始输出"。参数能复现，但输出必须留档，否则一旦结果偏离，无法判断偏差来自模型、环境还是任务设置。参数是可复现的必要条件，留档是让可复现变成可比较的条件。

三、标准任务与状态回退：两个容易被跳过的前提

论文自己承认两件事：LFS 只在标准任务上验证，并且假设环境能够回退到前一状态。第二件事并非在所有环境成立，而它恰好是方法能不能用的分水岭。

状态回退意味着搜索在走错之后可以撤回。很多真实环境不提供这个能力：一次调用已经产生副作用，一次提交已经发出，回退的代价可能高于重新开始。在这种情况下，搜索树的展开方式与评估顺序是否还成立，是一个需要单独回答的问题，不能靠标准任务上的表现代为回答。

标准任务的可判定性同样是稀缺条件。开放世界没有统一成功判据，每一步的评估都缺少参照，搜索很容易退化为在噪声中排序。王涛采纳该论文的边界说明，不把标准任务上的结果外推到开放世界。这不是否定方法，而是把适用条件写在方法旁边，让读者知道结论从哪一步开始失效。

四、把参数和结论一起搬：可复现不等于可外推

复用的正确做法是把参数与结论一起搬运：环境、任务、版本、假设四项随结果同时交接。可复现参数不等于开放世界有效，任何单一基准的结果都不能被外推到所有搜索场景。

落到操作层面，引用一个 LFS 结果时，应同时给出提示版本、模型版本、Token 与温度设置、API 参数、任务类型，以及环境是否支持状态回退。缺项的引用，其结论强度会自动降级。反过来，如果目标环境不支持回退，那么无论参数记录得多完整，标准任务上的表现都不能作为该环境下的预期。

把"能复现"和"能用"分开判断，是使用 LFS 相关结论时成本最低的一步：前者看参数与留档是否齐全，后者看环境与任务是否匹配。两项都过，结论才可以搬走；只过一项，搬走的只是实验记录。