
香港理工大学与四川大学联合开展的这项研究, 于2026年7月22日以预印本形式发布, 该篇论文编号为arXiv:2607. , 有深入了解兴趣的读者, 可凭借该编号在arXiv平台查询完整论文。
在你着手解一道数学题之际, 脑袋之内会历经一段"内心独白", 先是想到运用哪个公式, 接着尝试代入数字, 一旦发觉不对, 便转过头去重新思考。此种过程虽说于纸上难以看见, 然而却是你切实处于"思考"状态之时的核心环节。当前, 使得 AI 同样具备这种"内心独白", 恰恰是近些年来人工智能研究进程里的一个关键重要方向, 学界将其称作"潜在推理"。
然而, 这条路走到如今碰到了一堵墙, AI的"内心独白"速度更快、计算量更少, 可一直被关在"模仿"的笼子里, 没办法像把思维过程写出来的AI那样, 借助"做对了就奖励、做错了就惩罚"的强化学习方式自我提高。这就如同一个学生能在脑子里迅速运算, 却始终只能靠抄老师的解题步骤学习, 没法通过自己做对题目获得成就感进而越练越强。
香港理工大学与四川大学的研究团队, 试图来打破这堵不可见的壁垒, 推陈出新提出了名为**SLPO〈代理(代指某事物)潜在策略优化〉**的全新方式, 促使人工智能的内在考量也能接纳结果导向型的强化训练, 进而切实达成"难题思考时间越长, 简单题目快速决断"这样依照智能计算的分配规则。
一、AI的两种"思考方式":说出来的和藏在心里的
要明白这项研究的意义所在, 那就必须先弄清楚, 眼下AI存在哪两种主要的推理方式, 还有它们各自具备哪些优点以及缺点。
第一种称作"显式思维链"(其简称为 Chain - of - 也就是 CoT)。此类 AI 在回答问题以前, 会如同学生打草稿那般, 逐一把推理过程以文字呈列出来。举例而言, 回答"小明存有 3 个苹果, 给予了小红 1 个, 还剩余几个呢? "的时候, AI 会先写下"3 减去 1 等于 2", 随后给出答案"2 个"。如此这般做的益处是每一个步骤都有踪迹能够探寻, AI 同样能够通过核验每个步骤的正误来实现学习以及进步。近些年来极为火爆的 - R1 等推理模型, 恰恰是顺着这条路径走出成果的。
有一种根本缺陷存在于这种方式之中, 那就是写出来的每一个字, 都要耗费计算资源。更为尴尬的是, 许多写出来的文字实际上是在拼凑语言逻辑的连贯性, 并非真正在推进解题过程, 就如同有人在做数学题时会于草稿纸上写"首先我们知道......"这类废话, 题目越难, 推理越长, 这样的浪费就愈发严重。
"潜在推理"是第二种, ()。对于这类AI , 中间步骤并不写成文字, 而是使其压缩成连续的数学向量, 让它们在模型内部的"隐空间"里悄悄流转, 最终直接蹦出答案。好处是很明显的: 不仅省掉了大量语言组织的开销, 而且同样的算力还能处理更多的实质性推理步骤。已有研究表明, 在很多标准测试上, 能使潜在推理模型以更短的中间计算量媲美甚至超越显式思维链模型。
然而, 存在一个关于潜在推理持续未遭解决的棘手问题, 其为: 当中的步骤呈现为一系列数字向量, 全然缺失"在当前步骤所做出之选择"的概率资讯。并且, 强化学习若要对AI实施奖惩衡量, 就必然需要明确"AI于当前步骤所执行的决策、该决策具备的可能性程度"。若缺失此项概率资讯, 奖惩操作便无法开展。况且, 现有的潜在推理模型还存在另外一个状况, 即在训练以及推理过程中均预设了固定的思考步数, 无论题目是易于应对还是颇具复杂度, 皆会进行相同数量步数的思维运算。这就如同, 不管你是前往便利店去买一瓶水, 还是去到超市采购一周所需的粮食, 均只给予你同样时长的购物时间, 这显然是不合理的。
就在这两道阻碍当中, 一道是缺少那能够用以强化学习的概率估计, 另一道是有着固定不变的思考时长。正是由于它们, 使得潜在推理一直地停留在了, 那个处于叫做"模仿老师解题"的阶段当中, 没办法如同显式推理那样, 依靠着通过"做对了就自我强化"这种方式, 从而让自身越练越强。
二、两道障碍的拆解:SLPO的核心设计思路
解决这两个问题的方案, 被研究团队分成了两个模块, 这两个模块相互配合, 共同构成了SLPO的骨架。
**第一个模块:用"代理密度"给隐形步骤打分**
如果要使强化学习起到作用, 那就必须得能够去评估"AI在每一步所做出的选择到底有多靠谱"。对于显式推理而言, 这件事情是很自然的: AI每一次输出一个词的时候, 都会存在一个词汇表概率, 直接把这个概率拿来使用就可以了。然而对于潜在推理来讲, 中间的步骤是连续的向量, 它并非经过词汇表, 所以也就不存在现成的概率。
研究团队所采用的思路, 类似于这样一种情况, 有个质检员想要评估一条流水线的产品质量, 然而没办法直接检测每个零件, 所以他多次重复运行这条流水线, 去观察同一个位置每次产出的零件存在多大差异, 凭借此来推断这个位置的"稳定性分布"。具体如下, 在训练过程当中, 针对潜在推理的每一个步骤, 研究团队会运用不同的随机扰动, 也就是技术上所说的"MC-", 即蒙特卡洛随机丢弃, 多次运行模型, 进而得到若干个略有差异的输出向量。而后, 他们借助这些输出的均值以及方差, 拟合出一个高斯分布, 此分布乃一种常见的钟形概率分布, 以此作为"代理"。
这个关于代理分布的情况, 并非是针对真实采样历程的精准刻画, 然而它能够给出一个具备合理性的数值, 即当前步骤所产生的这个向量, 于这个代理分布状况下拥有多大出现可能性, 而这个数值, 便充当了强化学习所需的那种"每步概率", 于是, 奖惩信号能够借助这个代理概率传递至整条推理链条, 使得AI学会哪一些思考路径更具导向正确答案的可能性。需要留意, 被评估的那些处于中间阶段步骤的向量, 其自身是固定的, 并不参与梯度的传播, 真正接受训练从而更新的, 是模型依据当前参数重新进行计算代理分布而形成的那个过程, 如此一来, 既能确保训练具备稳定性, 又能够让奖励信号有效地传入模型。
**第二个模块:用"停止门"让模型自己决定想多久**
解决概率问题之后, 存在一个尚未解决的问题, 即模型依旧不清楚何时该停止思考, 现有的潜在推理模型步数固定, 像思考六步便停止, SLPO的设计是为模型添加一个"停止门", 它是基于小型神经网络模块所构成, 连接于每一步潜在状态之后, 输出处于0到1之间的概率值, 用以表示"当下停下来解题"的把握程度有多大。
但是, 这个才刚加上去的停止门一开始时是呈空白状态的, 不清楚究竟在何时应当停止。于是乎, 研究团队构思设计了一个被称作"冷启动"的预训练阶段。其具体做法是这样的: 针对训练集当中的每一道题目, 促使模型运用随机扰动这一方式去生成多条推理路径, 接着在每条路径的的每一个候选长度之处进行截断, 进而解码得出答案, 再将其与标准答案相对比以此判断是否正确。如此一来便获得了一份关于"哪些长度能够答对这道题"的清单。随后运用这份清单去训练停止门: 使得它能够学会把停下来的概率集中于那些"截到此处便能够答对"的步数之上。
就如同培训一名新员工那样经历这个过程, 首先告知他"这道题目里, 倘若在第4步停下就能够答对, 而在第2步停下的话则会答错", 以此使他积攒起初步的判断经验, 随后去上岗, 参与正式的强化练习。
三、将两个模块拼合成一个完整的训练目标
具备了代理概率以及停止门后, SLPO能够构建出一个完备的训练目标,将三件事的得分予以相加处理: 其一, 是潜在推理每一步所拥有的代理对数概率;其二, 为最终答案每个词的生成概率;其三, 乃在哪一步予以停止动作的概率。把这三个部分进行相加, 便获取到了整条推理路径的总得分。
在强化学习里, 当一条推理路径最终得出正确答案之际, 这条路径的总得分便乘以一个正向优势数值(其大意是"相较于平均水平好多少"), 借由梯度更新促使这条路径在未来被更加频繁地挑选;当推理路径导向错误答案之时, 就施加相反方向的压力。这个优势值的计算, 对多种主流的强化学习算法予以支持, 研究团队主要测试了RLOO(留一法基线)和GRPO(组相对策略优化)这两种。
相较于其他阶段, 推理阶段显得更为简洁, 具体表现为: 模型需要依照特定步骤来开展潜在思考, 在每迈出一步之后, 都要让停止门对相应情况进行评估, 一旦停止概率超越了预先设定的阈值, 便会即刻开始解码答案, 而不再持续进行思考。阈值的确定方式为: 在验证集里对不同的候选值(0.5、0.6、0.7、0.8、0.9)进行逐一扫描, 从中挑选出验证准确率最高的那一个。
四、实验设置:在哪里、用什么、和谁比
对SLPO进行系统测试的是那支研究团队, 测试所针对是数学推理任务, 而此项场景乃是目前潜在推理领域最为常用的标准评估场景。被使用的训练数据是GSM8K-Aug, 而这实际为本就存在的基础数学应用题数据集GSM8K的一个扩充版本。评估的开展是在涵盖了三个测试集的范围之上的, 其中一个是GSM8K官方测试集, 还有一个是GSM-Hard这个测试集(此测试集是将GSM8K里面的数字替换成更大的量级以此让题目变得更具难度), 另外还有一个是(多步骤算术题集合)这样的测试集。于另外一组的软令牌迁移实验当中, 还另外去评估了那么一个事物, 是什么事物? 是AIME 2025、 AMC23这有三个难度更高的数学测试集, 有这样三个数学测试集被评估了。
测试的对象涵盖了两个规模不一样的语言模型骨架, 其中一个是GPT - 2, 它约有1.24亿个参数, 相对较小型;另一个是Llama - 3.2 - 1B -, 它约有10亿个参数, 相对较大型。SLPO被施加于两个已存在的潜在推理基础模型之上, 这两个模型分别是, 通过课程压缩学会潜在推理的那个;以及通过自蒸馏将显式思维链压缩为连续表示的CODI。用以对比的基线方法覆盖了多种路线, 有采用显式推理的CoT - SFT和iCoT, 还有一批现有的潜在推理方法, 譬如CoLaR、DART和 - SFT。
在评估指标方面, 研究团队采用了两类, 一类是Acc, 也就是确定性准确率, 它是关闭随机扰动后, 采用单次确定性推理所得到的结果, 另一类是Pass@k, 即并行采样准确率, 它是运用k次随机推理路径, 只要其中有一次答对就算成功, 这里Pass@k中的k选取的值为8和16, 通过MC -, 也就是随机丢弃率为0.1来产生随机性, 除此之外, 还记录了平均推理步数, 也就是#L。
整个训练流程区分为两个阶段, 首先运用停止门来开展冷启动训练, 此训练要进行十五个轮次, 接着借助SLPO主体去做强化优化, 强化优化最多可进行四万步, 这个训练过程使用了四块RTX 5880 Ada显卡, 每一张GPU的批量大小是十六, 总计有效批量为六十四, 学习率被设定成极低的一点零乘以十的负六次方, 并且配合两千步的常数学习率调度。值得提及的是 在训练当中没有添加KL散度惩罚, 那个KL散度惩罚是用于防止模型偏离初始状态太远的常见保险措施, 研究团队选取了更为激进的纯结果导向优化方式。
五、主要实验结果:SLPO让两个基础模型都变得更强
于最核心的对比实验里面, SLPO进行应用, 应用的时候分别是针对和CODI的应用, 并且要基于GPT-2与Llama-3.2-1B这两种骨架来开展测试。
当对SLPO进行加持之后, 不管是CODI, 还是其他情况, 在GPT - 2以及Llama这两个规模方面, 准确率还有Pass@k指标都出现了提升。其规律相当明显, 体现在: Pass@16的提升幅度通常要比Pass@8更大, 而Pass@8又比单次确定性准确率的提升幅度大。这个规律极具趣味性, 它表明经SLPO优化生成的模型, 在随机探寻多条路径时的覆盖能力提升得更为明显, 这恰恰是强化学习塑造出一个更优秀随机策略的一种表现。也就是说, 模型并非仅仅能够偶尔给出正确答案, 反而在经过数次尝试这种状况下, 能够更加稳定地探寻出正确的路径模式, 是这样的一种情况。
针对具体数字而言, 以名叫 Llama 的骨架当作例子来说的话, +SLPO 在 GSM8K 上的 Pass@16 从 38.13 达到了升至 41.85 的情况, 在另一个方面上从 63.10 升至 71.38;CODI+SLPO 在 GSM8K 上的 Pass@16 从 67.48 升至 70.28, 在又一个方面上从 98.79 升至 99.48。提升幅度在这个相对比较弱的基础模型之上更为显著, 然而在 CODI 这样一个已经比较强的基础模型上提升幅度却是相对较为温和可是依旧持续不变存续着存在着。
在跟更广泛基线做对比时, CODI加上SLPO于Llama骨架情形下的GSM8K准确率是55.27%, 它略微高于显式CoT - SFT的54.1%, 并且同时所使用的平均推理步数是6.30步, 这远远少于CoT - SFT的25.4步。这蕴含着这样的意思: 借助更少的中间步骤, 达成了相当或者略微更好的准确率。CoLaR、DART、-SFT等同一类别的方法, 在部分次要任务方面具备竞争力, 然而, SLPO作为一种能够直接嵌入到已有的有潜在推理能力的模型之上的方法, 展现出更为强大的灵活性。
六、停止门学会了什么:难题多想一会儿,简单题早点收手
对SLPO而言, 其中一个极为引人注目的现象是, 停止门在经过优化以后, 呈现出了"依据难度去分配计算量"这样的行为。研究团队用以衡量题目难度的方式是, 采用"1减去Pass@32准确率", 具体而言, 一道题目要是越难, 那么在32次随机尝试里答对的比例就会越低, 相应地, 其难度值也就越高。
将所有测试题依据难度划分成10个区间, 接着统计每个区间的平均潜在思考步数, 如此便能清晰看到, 难度区间越高, 平均步数就越长, 难的那组题, 平均要思考6步以上, 简单的那组题, 平均不到5.2步就停止思考了, 两者相关系数在验证集上是0.30, 在测试集上是0.26, 呈现出稳健的正向关联。
该结果意义相当重大, 它表明, 于SLPO训练之后, 停止门并未退化为"始终于第3步停下"或者"始终想要达到6步"的极端策略, 而是切实学会了按照输入问题的实际难度, 灵活地去分配思考时长, 这恰恰就是"自适应计算"的核心价值所在------计算资源并非被予以平均分配, 而是朝着真正需要它的地方去倾斜标点符号。
七、两种强化算法都管用:SLPO不绑定特定算法
SLPO的设计目标里有一个是要作为一个通用框架, 这个通用框架要能够和不同的强化学习算法一起配合使用。研究团队在RLOO这种主流算法之下分别测试了SLPO的效果, 研究团队还在GRPO这个主流算法之下分别测试了SLPO的效果。结果是这样显示的, 两种算法在各个测试集之下表现得非常接近, 两种算法在不同的k值下面表现得非常接近, 没有哪一种算法在全部的情况之下都占据优势。在骨架那儿, RLOO于Pass@1以及Pass@8这件事上稍微胜出, GRPO在Pass@16这边紧紧跟着;处于CODI骨架之际, GRPO在GSM - Hard的Pass@1和Pass@8这里头略微占得优势, RLOO在与GSM8K相关面上有点优势。
有这样一种表现, 它高度形似本身就是具价值之信号, 此表明SLPO所供给的代理概率足够合乎情理, 使得各异之优化算法皆能从中平稳地萃取出学习信号, 换言之, SLPO之瓶颈并非在于挑选哪种强化算法, 而是在于代理概率自身之质量, 这为后续研究留存下清晰之优化方向。
八、迁移到另一种潜在推理方式:软令牌推理
SLPO的设计不会限定于某一种唯独的特定的潜藏推理架构之上。有了研究团队进一步实行的操作, 将其投用到"Soft "这是不一样的其它的机制上面, 也就是软令牌推理。软令牌推理拥有的工作方式, 和先前谈及提及的隐状态传递是不一样的。它在每一个潜在的步骤当中, 把模型对于词汇表的概率分布乘上词向量矩阵, 从而得出一个开展加权平均的嵌入向量, 接着再把这个嵌入向量送进下一步里面。这就类似于等同于模型在每一步之中"模模糊糊地思考着所有有可能的词"情形, 而并非是硬性地确定选定一个词的情况。
将SLPO运用到这种机制之际, 代理概率的计算办法维持不变, 仅仅是把评估对象由隐状态向量替换成了这个加权嵌入向量。于Llama - 3.2 - 1B上, SLPO于GSM8K以及上均比对比方法(涵盖CoT基线、GRPO直接优化、还有专门针对软令牌设计的LEPO方法)更具优势。以下是改写后的内容: 在 Llama - 3.2 - 3B之上, 针对于极难的 AIME 2025 测试集合, SLPO 的 Pass@1 达成了 3.33%, 但最强的竞争者 LEPO 为 0.96%, CoT 类方法普遍位于 0.42%至 0.83%之间;对于 AMC23 的 Pass@1 而言, 其也从 LEPO 的 27.03%进一步上升到 32.50%。
特别有意思的是, 有一张追踪训练过程中平均输出序列长度的图: 这张图显示, 在软令牌推理之下进行SLPO训练的时候, 模型生成的序列平均长度, 会随着训练步数稳步增长, 最初长度约为750个词, 后来扩展至超过1000个词;然而, 同样是在这样的设置之下, 使用GRPO或者LEPO训练的模型, 其序列长度基本是维持在初始水平附近, 甚至还有略微收缩的情况。这表明SLPO真正触发了模型的"多想一点"行为: 模型是自发地学会了为获得更好结果而延长推理过程, 并非是被动地接受固定长度限制。
九、潜在空间的几何变化:训练后AI的"内心世界"发生了什么
已经将强化学习于外头行为, 也就是准确率提升这方面的成效测量得明明白白了, 然而研究团队依旧想要知晓, SLPO于AI的那个所谓"内心世界"当中到底变更了些什么情况, 他们从两个不相同的几何角度剖析了训练以前后潜在推理状态而产生的变化。
首种角度称作"步间余弦距离"(Inter-step), 其测量的是啥, 是相邻的两个潜在步骤当中的向量之间究竟存在着多大的差异。那余弦距离为0所代表的意义是啥, 意味着两个向量的方向是完全相同的, 而当余弦距离为1的时候所代表的意义又是什么, 意味着二者是完全垂直的。要是步间距离比较大的话, 这说明什么, 说明每一步的思考皆是朝着不一样的方向去迈进的, 进而整个推理过程便有着清晰的"阶段感";如果步间距离较小的话, 这又说明什么, 说明每一步几乎都是差不多的, 也就是思考在原地进行打转。在SLPO之后, 此距离于所有测试集及骨架组合上均有增长, 在GSM - Hard上的增长幅度为最大, 其中GPT - 2骨架增长了17.1%, Llama骨架增长了17.8%, 在SVAMP上的增长幅度相对较为温和, 处于3.8%到7.2%之间。从整体情况来看, SLPO致使相邻步骤之间的差异变得更大了, 即每一步的思考都趋于推动状态朝着新的方向进行移动。
被称作 "前缀有效秩"(Rank)的第二个角度, 所测量的是, 伴随推理步骤逐步积累, 由所有步骤向量共同张开的独立方向究有几何。若有效秩高, 就表明每一步均在探寻全新方向, 推理路径覆盖了潜在空间的多个维度;若有效秩低, 则说明所有步骤都汇聚于少数几个方向上, 思考更为专注且聚焦。在 SLPO 之后, 有效秩于所有骨架、数据集以及基础模型组合情形下均出现下降------尽管下降幅度因组合而有所不同, 但方向却是一致的。这表明, SLPO使得潜在推理轨迹趋向更为集中, 不再毫无头绪地探寻潜在空间, 而是朝着更具聚焦性的子空间行进。
将这两个发现合并起来, 能够得出一幅引人关注的图景, 情形即是于SLPO之后的潜在推理当中, 任意一步与其相邻状态之间存在更显著的差异程度, 展现出更显著的阶段性质, 然而整体轨迹所覆盖的独立方向数目却更少, 呈现出更为明显的聚焦态势。这恰似一个人在进行解题活动时, 每一步所产生的思维跳跃幅度都更大, 不过跳跃的方向更为集中且具备更强的目的性, 并非分散进行毫无计划、漫无边际地随意思考。
十、对K和G两个超参数的敏感性:组大小比采样次数更重要
SLPO需求调节两个关键超参数, 分别是K与G , 计算每步代理概率时, K用于估算均值和方差的独立随机扰动次数, 等同于重复试验测量流水线波动的次数 ,计算强化学习优势值时, G用于每道题采样的完整推理路径数量, 等同于一次比赛中的选手数量, 选手越多, 平均水平估算越精准。
对K和G进行扫描, 各自获取2、4、8的结果, 结果显示, G对最终性能的影响更为明显显著, 当G从2增加到8时, 在GSM - Hard上, Pass@2存在明显又稳定的提升。而K的影响相对更为逊色, 一旦K达到某一个最低阈值数值(大约4次便可以满足这个条件) , 持续增加K所带来的额外收益相当有限, 并且这种情况还依赖于特定具体的数据集。对于这个规律, 存在着直观的说明: 当G越大的时候, 优势值的估算就会愈发准确无误, 强化学习所进行的更新方向也就越趋向于可靠;然而K只需能够充分保障代理概率的估算稳定就可以, 过多的重复性采样仅仅是白白消耗计算资源, 根本无法从本质上提高学习的成效。在最后的实验当中, 研究群组挑选了K等于4以及G等于8来当作默认的配置。
最终来讲, 这项研究开展的事情能够用一句话予以归纳, 那便是, 它为AI的"沉默的思考"增添了一个能够受到奖惩的连接口, 此外还配备了一个知晓"难题需多思考一阵子"的停止按钮。
这两件事情看上去存有细节情况, 然而对于整个那有着潜在本质的推理范畴的发展趋向而言, 却有着具备实质意义的影响。在此之前, 从事潜在推理研究的人员遭遇了一种尴尬状况, 他们明确知晓潜在推理相较于显式推理具备着更为高效的特性, 可是却寻觅不到有效方法, 使得它能够好似显式推理一样, 借助做对题目这种方式来实现自我完善。SLPO成功打通了这条路径, 它并不需要对位居底层的推理架构予以改动 , 仅仅需要增添一个停止门, 接着运用代理概率去替换缺失的步骤概率, 便能够将现有的强化学习工具直接加以运用。
不言而喻, 此项工作存在着一定的种种局限。当下所进行的实验, 聚焦重点大体集中于数学推理任务方面, 该情形下所涉及的模型规模, 最大仅仅只是达到了10亿参数的层级水平。针对更大规模的模型, 以及更为开放的任务范畴, 诸如写作、编程、多模态理解这些领域, 还有代理概率估算到底是否足够精确等一系列的诸多问题, 全部都有待于后续的深入研究来加以精准回答。研究团队于论文当中, 也清晰明确地作出指出, 未来期望能够把SLPO进一步扩展至更大的骨架结构, 以及开放式推理任务和多模态潜在架构之上。
要是你对AI怎样去思考这一情况存有兴趣, 不妨去追问一番: 当AI能够切实决定"我得思考多长时间"时, 它做决策所依据的是什么? 究竟是题目的表面看起来的难度, 还是它在推理进程当中觉察到的某种内在的复杂性? 这可能是理解AI推理机制的接下来的一个有意思的问题。有兴趣进一步深入了解的读者, 能够借助arXiv编号2607.19691去查阅完整的论文了。
Q&A
问题一: SLPO里的"代理概率"所指的含义是什么, 为何对于潜在推理而言它是需要的呢?
A: 潜在推理的中间步骤是向量数字, 并无"选了哪个词"的概率, 然而强化学习开展奖惩训练是必须依靠这种概率的。SLPO的解决办法是: 运用多次呈现随机扰动对模型进行运行, 在此期间留意同一步骤的输出有无波动情况, 接着借助所呈现的这些波动去拟合出一个较为近似的概率分布, 我们将其称之为"代理概率"。它并非精确无误的真实概率, 不过却足以使得强化学习信号能够顺利地传递至模型以实现更新。
Q2:SLPO的停止门是怎么学会判断题目难度的?
在停止门的"冷启动"阶段, 模型会针对每道训练题, 于不同思考步数处截断并解码答案, 进而记录哪些步数能够答对。之后, 对停止门进行训练, 使其把"停下来"的概率加以集中分配, 位置定在那些能够答对的步数处。经过 SLPO 强化训练以后, 该判断得以进一步精细化, 致使较难的题目触发停止的时间更晚, 较简单的题目更早停止, 以便达成计算资源的自适应分配。
问3: SLPO跟现有的那种显式思维链强化学习方法, 像GRPO、RLOO, 存在的本质区别是什么呢?
A: 现有显式推理的强化学习方式, 依靠每个生成词语的词汇表概率, 此概率是现成的。SLPO面临的是无词汇表概率的连续向量推敲, 因此它额外新增了代理概率估量体制来补齐这一缺少环节。在代理概率构建完成后, SLPO能够直接运用GRPO或RLOO等现有算法, 并非要发明全新的优化算法, 而是着重于填补潜在推理与强化学习之间的接口空缺。