为什么PPO难以做出顶级棋类引擎

为什么 PPO 难以做出顶级棋类引擎

一个中国象棋项目的实验复盘:从复现腾讯的「无搜索象棋 AI」,到把 PPO 模型接进 αβ、MCTS、BFMS 三种搜索,搜索全部失败。

本文只讲一条主线:PPO 优化的是"最优解",而所有搜索算法需要的是"全宽度排序"。

文中所有数字都来自本项目的实测(等节点对战、同开局、可复现的脚本),文献结论均给出出处。


第一章 引言------如何用 PPO 训练一个中国象棋 AI

1.1 一篇论文引出的问题

2024 年 10 月,腾讯光子工作室(LIGHTSPEED STUDIOS)发表了 Mastering Chinese Chess AI (Xiangqi) Without Search(arXiv:2410.04865)。它的核心主张很吸引人:

  • 不做任何搜索,纯靠神经网络前向,达到人类前 0.1% 的水平;
  • 决策速度比 MCTS 快一千倍、比 αβ 快一百倍;
  • 训练分两段:SL(监督学习)打底,RL(强化学习)抬高上限。

论文里有三个技术点值得单独拎出来:

  1. 架构用 ViT 而不是 CNN。他们改造了 ResNet(去掉 max pooling、conv1 从 7×7/stride2 换成 1×1/stride1),但真正的大幅提升来自把棋盘的 90 个交叉点当作 90 个 token 喂给 Transformer------因为棋盘上"一个格子的位移就能改变胜负",任何池化都会毁掉信息。
  2. 双向走法作为特征:把双方的可行着法也编码进输入通道。
  3. VECT(Value Estimation with Cutoff)------这是本文后面反复要用的东西。

论文报告的 SL-ViT 数字是:对 baseline(一个 top-10% 水平的 αβ 引擎)胜率 65.1%,分阶段走子准确率 72.6% / 60.3% / 59.1%(开局/中局/残局),人类天梯 top-3%;经过 RL 后 RL-ViT 胜率 92.5%、天梯 top-0.1%。

VECT 是什么? 标准 PPO 用 GAE 估计优势:

\\\hat A_t\^{GAE}=\\sum_{n=0}\^{\\infty}(\\gamma\\lambda)\^n\\delta_{t+n},\\qquad \\delta_t=r_t+\\gamma V(s_{t+1})-V(s_t) \\

在象棋这种"只有终局才给 ±1"的设定下,如果取 γ=λ=1,这个无穷和会望远镜化 ------它退化成纯粹的蒙特卡洛回报,整局的 advantage 全变成同一个符号。论文 Table 4 报告的就是这个失败基线:用 γ=λ=1 的原始 GAE,对 baseline 的胜率从 65% 崩到 10.2%。

(论文只说了这个失败基线 用 γ=λ=1,没有给 VECT 的 γ、λ、L 任何具体值;我们自己的取值见 §1.3。)

VECT 的修法是把求和截断到固定窗口 L:

\\\hat A_t\^{VECT}=\\sum_{n=0}\^{L}(\\gamma\\lambda)\^n\\delta_{t+n} \\

窗口 L 是我们自己定的:扫过 L=10 与 L=20,最终选 L = 10 (命令行参数 --cutoff)。

1.2 SL 阶段:我复现出的所有参数(腾讯论文未给任何参数和结构设计)

数据集 :东萍象棋网全量职业棋谱 143,200 局 。清洗规则与论文一致------剔除少于 10 回合的对局、剔除因超时/认输等非棋局原因终止的对局。另外混入 2% 骗招数据 (2,000 局 / 242,692 个局面),这是人类"设套---被骗"的分布外样本,用来避免模型在对手故意卖破绽时不知所措。合计 11,896,637 个局面 (镜像增强后 23,793,274 个训练样本),验证集固定 43,154 条(所有对比 run 共用同一份,指标可直接比较)。

注:腾讯使用的是天天象棋500万局高手对局+1000万局全分段对局,数据集不同。我也无法拿到腾讯的数据集。骗招数据是我用皮卡鱼生成的铁滑车、敢死炮、瞎眼狗对局。

采样曲线 :论文按对局长度加权采样 \(p\sim\log(\frac{t}{2T}+e^{-1})+1.5\),我们最终关闭 (--no-sample-curve)。原因是量级差太远:我们 14.5 万局,论文 1500 万局,少两个数量级,开局重复率本来就低,加权没有收益(实测 ON/OFF 差异在噪声内)。

模型 :最终选用 chess_vit_mid。五档对比:

模型 注意力层数 dim heads 参数量 前向 FLOPs
mod_resnet18 ---(CNN) --- --- 11.57 M 2.009 G
chess_vit_small 4 128 4 0.96 M 0.144 G
chess_vit 6 192 6 2.88 M 0.484 G
★ chess_vit_mid 6 384 6 11.01 M (CLS 头)/ 10.79 M(bilinear 头) ≈1.90 G
chess_vit_large 10 320 8 12.64 M 2.238 G

选 mid 的理由是与 ResNet18 的 FLOPs 对齐(0.95×),这样"ViT vs CNN"的对比才是等算力的。

策略头:双线性联合打分(bilinear) ------ 这是我对整个 SL 阶段最关键的一处结构设计。

ViT 最后输出 91 个 token :1 个 [CLS] + 90 个格子 token(10×9)。最自然的做法是把策略头接在 [CLS] 上、用 Linear(384 → 8100) 输出 from-to logits------我们最初就是这么做的,但这是结构性错配 :[CLS] 是全局池化向量,服务的是"整盘棋值多少"这种标量任务;而策略是空间任务 ------"哪个格子上的子,走到哪个格子"。把 90 个格子压成一个向量再展开,等于要求 [CLS] 把每个格子的身份和位置都记住,信息通路本身就错了。

正确做法是让策略头直接看 90 个格子 token,并对每一对(起点 \(s\)、落点 \(t\))打分:

\S(s,t)=\\frac{q(x_s)\\cdot k(x_t)}{\\sqrt{64}},\\qquad q,k:\\ \\mathbb{R}\^{384}\\to\\mathbb{R}\^{64} \\

\(S\) 是一个 \(90\times90\) 的矩阵,就是"从 \(s\) 走到 \(t\)"的 logit。非法着法在矩阵里置为 \(-10^9\)(掩码在 fp32 上做,避免 AMP 下 fp16 溢出成 -inf)。然后:

  • 边缘化得到起点分布 :\(\text{piece\_logits}s=\log\sum_t \exp S(s,t)\),即对所有合法落点求和;
  • 条件化得到落点分布 :\(\text{move\_logits}s,t=S(s,t)\),即给定起点的条件下对落点做 softmax;
  • 整步概率 \(=P(\text{起点}=s)\times P(\text{落点}=t\mid s)\),训练时两项各算一次交叉熵(权重 1:1);joint_acc 要求起点和落点同时正确------这才是"走对一整步棋",也是唯一能与论文 Accuracy 对齐的口径。

这个头可以理解成一层没有 softmax 的注意力打分 :q/k 对所有格子共享,8100 个候选只用了 \(2\times384\times64\approx4.9\) 万参数(策略头 49,280 )。把价值头一起算,整个头部是 98,689 参数(占模型 0.91%) ;原来的 CLS 头是 315,829(2.87%) ------少 69% 参数却更强,因为信息通路是直接的,不靠池化后的全局向量转述。

单变量对照(同数据、同配方,只换头):

数据量 CLS 头 bilinear Δ
0.5 M 32.99 40.17 +7.18 pp
1 M 36.69 43.11 +6.42 pp
全量(bilinear 混了 2% 骗招) 50.92 53.95 +3.03 pp(多一个变量,仅参考)

训练超参 :10 epoch、AdamW、lr \(3\times10^{-4}\) 余弦退火到 \(3.8\times10^{-10}\)、batch 512、dropout 0.1、label smoothing 0.05、weight decay \(10^{-4}\)、drop-path 0.1、layer-scale、梯度检查点。全量训练 46,471 步/epoch ,单 epoch 21,143~34,550 秒(5.9~9.6 小时),10 epoch 共 3 天 5.5 小时(单张 RTX 4090)。

复现结果:

指标 我们(全量 ViT-mid + bilinear) 腾讯论文(ViT)
开局(joint) 62.67% 72.6%
中局(joint) 51.59% 60.3%
残局(joint) 50.86% 59.1%
整体 joint 53.95% 论文未给
piece / move 64.69% / 83.34% ---

逐轮 val joint:ep1 47.48 → ep8 53.74 → ep10 53.95 (ep7 有一次 52.95 的小回落,整体仍是一路向上);train−val gap 仅 +0.28(全量下几乎不过拟合)。

怎么读这个差距 :三个阶段都低 8~10 pp,而且低得一样多 ------说明不是某个阶段做错了。同架构对照更说明问题:我们的 ResNet18 全量版是 61.32 / 42.73 / 42.26,论文的 SL-modResNet18 是 60.2 / 47.4 / 43.3,三个阶段基本对得上(−4.7~+1.1 pp)⇒ 数据、清洗、评测口径都没走偏,差距几乎全出在 ViT 这一档------而论文对 ViT 的规模、层数、超参一个字都没写。所以这只能算"口径对齐的复现",不是逐值复现。

棋力(这里有一个必须提前说清的提醒:准确率 ≠ 棋力):

  • 对皮卡鱼 depth-1 (1 ply 主搜索 + 静态搜索、T=0、600 局同开局):得分 .39 (141 胜 183 和 276 负;换一套棋例判罚口径为 .42),折合 −80 Elo 上下。
  • 用业7-3 段位账号与开小号实战:与真实匹配对手互有胜负 ⇒ 大约业7 水平。
  • 反例就在手边:皮卡鱼 depth-6 与人类走法的一致率只有 45~48% ,比我们低,但棋力碾压我们。模仿得像,和走得强,是两件事。

PPO 的起点 A1 :同一个 backbone 再挂一个 outcome 头(WDL 三分类,dim → 128 → 3),val joint 53.93% ,与两头版基本持平 ⇒ 加头几乎不损策略准确率。后面所有搜索实验用的 SL 基座都是它。

1.3 PPO 阶段:参数与提升

算法:PPO + VECT(截断 GAE)+ DOP(动态对手池)+ Dual-clip。

项 值
γ / λ / L 0.99 / 0.90 / 10(γλ = 0.891)
PPO clip ε / Dual-clip c 0.2 / 3
每轮对弈 5,000 局(30% 自对弈 + 70% vs 对手池)
lr / epochs / minibatch 1e-5 / 2 / 512
熵系数 / ref-KL 0.0025→0 / 0.02
奖励 胜 +1 / 负 −1 / 和 0

关于 γ/λ :论文只说了"γ=λ=1 的原始 GAE 会崩到 10.2%",VECT 的 γ、λ、L 没给具体值。我们自己扫过------λ=0.90 明显优于 0.95,λ=0.85 更差------所以最终用 γ=0.99 / λ=0.90 / L=10 。这个 γλ 只作用在 critic 的 VECT-GAE 上;outcome 头(MCTS 用的 Q)的标签是原始 z,不折扣、不截断。

效果 :从 SL 的 A1 出发,PPO 主臂 W2 对皮卡鱼 depth-1 的纯策略得分从 .42 提到 .576;作者本人(业9-1)与无搜索模型对弈基本持平------单次决策从业7 提到了业9-1。

★ 但 d1 这个刻度会高估 RL(A1 擅长把棋导向和棋):同一对模型接上 4000 visits 的 MCTS,W2 反而落后 A1。这就是 §1.4 的谜题。

1.4 一个必须解释的矛盾

到此为止一切都很顺,那么为何我说"PPO 难以做出顶级棋类引擎"呢?

现有棋类顶级引擎(围棋、中国象棋、国际象棋)有且仅有两条技术路线:αβ+NNUE、AlphaZero。二者都需要对两人完全信息零和博弈树进行搜索,模型本身性能存在天花板,只能通过搜索来提升。

把PPO模型接上搜索,事情立刻反转。搜索那两列的口径完全一致:同一批开局(master80,80 开局 × 红黑)、各 160 局、同样 4000 visits、batch 32、--value-mode 1;无搜索列是 d1 的纯策略得分。

模型 无搜索(对皮卡鱼 d1) + MCTS 4000 visits(对皮卡鱼 4000 节点)
SL(A1) .420 .5437
RL(W2) .576 .4656

同一列内可以直接相减:RL 把"无搜索"从 .420 抬到 .576,却把"有搜索"从 .5437 压到 .4656 ⇒ −54 ELO(±34,1.6σ)。

W2 那一格的 c_puct 是 1.4 而不是默认的 2.0。原因是它的 Q 只有 A1 的 69% 宽(std .337 vs .485),同一个 2.0 作用在它身上等效于 2.88 ⇒ 探索过头;按 Q 的 std 把 c 调到 1.4 后,W2 从 .3406 回到 .4656(+91 ELO),而策略逐位未动。所以这 +91 ELO 的性质是"探索系数配错了",不是"学错了"。

口径提醒:以上两格都在 batch 32 的下测得,两侧同 batch。但 batch 本身会抬高或压低绝对分------4000 visits 下 b8 比 b32 高约 80 ELO(§3.5,A1 同一格在 b8 下是 .6219),不要把上表和 §3.5 的 b8 数据横向比较。

RL 让"无搜索"变强了,却让"有搜索"变弱了。 这就是本文要回答的问题:为什么 PPO 学到的东西,一接搜索就失效?

后面三章分别尝试三种搜索:αβ(第二章)、MCTS(第三章)、BFMS/Minimax(第四章)。结论都是同一个,但机制各有细节。


第二章 为什么 PPO 无法接入 αβ 搜索

2.1 标准 αβ = Minimax,现代引擎是它的近似解

αβ 剪枝在数学上严格等价于全宽度 minimax ------它不改变结果,只是跳过那些"确定不会影响根节点值"的分支。这一点常被误解:αβ 不是"近似 minimax",它就是 minimax。

但真实引擎(皮卡鱼、Stockfish)不是纯 αβ,而是一堆不保险的剪枝叠起来的近似:

  • Null move pruning:假设"我白让一步对手都赢不了,那我实际走一步肯定更好",直接剪掉。这个假设在 zugzwang(走棋反而变差)局面下是错的。
  • Late move reductions (LMR):排序靠后的着法少搜几层,赌"它们大概率不好"。
  • Futility pruning / razoring:静态评估离 alpha 太远就认为这条线没希望。
  • Aspiration windows:先用一个窄窗口搜,失败再放宽。
  • ProbCut 、singular extensions......

这些技术的共同点是:它们都建立在"排序大致正确"或"静态评估大致可信"之上。LMR 的"靠后"直接来自排序;futility / razoring 则用静态评估判断"这条线没希望"。排序错了,剪掉的可能是唯一的好棋;评估偏了,"没希望"的线可能其实有棋。

2.2 αβ 最重要的是搜索顺序------但排序不是网络给的

这是 αβ 的数学性质:完美排序下,有效分支因子从 \(b\) 降到 \(\sqrt{b}\),同样节点数能搜的深度翻一倍 。以象棋 \(b\approx40\) 计算,完美排序相当于把 40 变成 6.3------深度 2×。

那么皮卡鱼/Stockfish 的排序从哪来?全部来自搜索自己,不来自神经网络。

  1. 置换表(TT)里的最佳着法:上次搜过、且导致截断的着法优先。
  2. 吃子/升变:按 MVV(被吃子价值)+ 吃子 history 排序,再用 SEE 分成"好吃子 / 坏吃子"。
  3. 安静着法:按 history 统计族排序------主 history、兵 history、continuation history(用前几步的走法/棋子做索引)、low-ply history;另外"走到被小子威胁的格子"扣分、"将军"加分。老版本还有 killer / counter-move,新版基本并进 history。
  4. 应将时:先吃子,再按 history。

贴一段 Stockfish 的源码(movepick.cpp,Pikafish 同源):

cpp 复制代码
// 吃子:MVV + 吃子 history
m.value = (*captureHistory)[pc][to][type_of(capturedPiece)]
        + 7 * PieceValue[capturedPiece];

// 安静着法:history 统计族
int value = 2 * (*mainHist)[m.raw()];
value += 2 * (*pawnHist)[pc][to];
value += (*ch0)[pc][to];   // continuation history
value += (*ch1)[pc][to];   // ...

这些 history 表是搜索过程中"哪些着法曾经导致截断/失败"的统计,跟网络权重完全无关。

NNUE 在这里的角色只有一个:在叶子处给一个标量分数 。它不输出 policy,也不输出任何 per-move 分数------nnue_architecture.h 的 propagate() 最后就是 return outputValue;,一个整数。

这一点很关键:αβ 里没有"策略"的位置。如果非要把一个策略网络接进 αβ,唯一的接口是拿它当 move ordering 的先验(policy-guided ordering),而不是像 MCTS 那样直接用它来分配预算。

2.3 NNUE 在搜索里到底干什么

NNUE(Efficiently Updatable Neural Network)的结构是"特征变换 + 几层小 MLP",权重文件并不小(皮卡鱼的 .nnue 约 50 MB,int8/int16 量化)。它能这么快,靠的不是"网络小",而是三件事:

  • 增量更新:局面变化时只改一两个格子的特征,累加器只更新受影响的几条路径;
  • 量化 + SIMD:int8/int16 乘加,CPU 向量化;
  • 只算一个标量:没有 attention、没有 90×90 的输出矩阵。

实测速度:皮卡鱼 4000 节点约 6 ms(单线程)⇒ 约 1.5 μs/节点 (含搜索开销;NNUE 单次评估在亚微秒级)。而我们 11 M 参数的 ViT:batch=1 时 3.58 ms/次,batch=8 摊到 0.83 ms/次 ------差 2~3 个数量级。

这引出工程上的死结:非线性大模型(ViT/ResNet)无法替代 NNUE。不是"太慢"这么简单,而是三层不可调和:

  1. 数量级差距:如上,2~3 个数量级。
  2. 无法增量更新:αβ 是深度优先,每步只改一两个格子;NNUE 的累加器结构天生支持"改两个格子只更新两条路径",ViT 的 self-attention 必须全量重算。
  3. 不兼容 batch:αβ 是严格串行 DFS,一次只有一个叶子待评估;GPU 的算力来自批处理,串行前向等于把 GPU 当 CPU 用(batch=1 正是最贵的那一档)。

第 3 条是根本性的:αβ 的算法结构与 GPU 的硬件特性相反。

2.4 唯一能给 αβ 的接口,正好是 PPO 最弱的地方

既然 αβ 不消费 policy(2.2),那么"把 PPO 接进 αβ"其实只有三条路:

  1. 值头替 NNUE:被 2.3 的三条工程问题封死;
  2. 策略头当排序先验:这是唯一有意义的接口;
  3. 只用 top-1 当唯一候选:那就退化成贪心,不是 αβ 了。

第 2 条值得单独说,因为我们的先验诊断正好测过它。拿 150 个中局局面,用皮卡鱼 d14 MultiPV=5 作为"真值",比较模型的先验分布与真实近优着法集合:

指标 SL(A1) RL(W2)
top-1 命中率 .598 .668
top-2 概率质量 .163 .183
第 4 名以后的概率质量 .163 .076
top2 / top1 中位比 --- .298

怎么读这张表 :RL 把 top-1 命中率从 .598 提到了 .668(+7 个百分点),但把"第 4 名以后的概率质量"从 .163 砍到 .076(砍了一半多)。top2/top1 的中位比只有 .298------典型形态是"一条粗腿 + 一条细腿",第三、第四名几乎没有质量。

更直接的证据:真实的"近优着法数"(±20 厘兵以内)是 2.93 个,策略分布的 exp(H) 是 4.70 。也就是说,棋盘上通常有 3 个着法都值得考虑,而我们的模型只对其中 1 个有像样的概率。

这正是 αβ 最不能接受的形式。 LMR 要决定"谁该少搜",futility 要决定"谁没希望",TT 要决定"谁先搜"------它们需要的是第 2 名到第 k 名的相对顺序,而 PPO 恰恰把这一块压扁了。把手工排序换成这个先验,等于用"只对第一名有把握"的分布去替代几十年调出来的 history / SEE,大概率更差。

所以第二章的结论是 :不是"我们的 ViT 再快一点就能接 αβ",而是接口不匹配------

  • αβ 的排序不来自网络(TT / SEE / history 全是搜索统计);PPO 的策略要进 αβ,只能当排序先验,而它恰好是"一选准、其余烂";
  • αβ 要的是极快的叶子值,而值头依附的非线性模型背着 2~3 个数量级的工程债。

两者都不是调参能解决的。


第三章 为什么 PPO 无法接入 MCTS 搜索

3.1 AlphaZero 的搜索与训练

AlphaZero 的 MCTS 用 PUCT 选边:

\\\text{PUCT}(a)=Q(a)+c_{puct}\\cdot P(a)\\cdot\\frac{\\sqrt{N_{parent}}}{1+N(a)} \\

  • \(Q\) 是子树平均价值(均值,不是 min/max);
  • \(P\) 是策略先验;
  • 访问数项 \(U\) 随 \(N\) 增长自动衰减------这是"探索转利用"的自动机制。

训练时,MCTS 的访问分布 \(\pi\) 成为策略的监督目标,搜索得到的根值成为值的监督目标。注意:策略的学习目标是"搜索后的访问分布",不是"最优着法"。 这是 AlphaZero 与 PPO 最本质的差别------它天生就在学"全宽度排序"。

3.2 三头 PPO:为什么必须引入 Outcome 头

AlphaZero 有两个头(policy + value)。我最初用的是标准 PPO 的两头(policy + critic)。接 MCTS 时发现一个结构性问题:

critic 头预测的是"折扣回报",它的量纲随局面波动。象棋里"优势 +0.3"和"胜率 70%"不是线性关系,而 MCTS 的 Q 需要的是"同量纲、可比较的胜率式价值"。

所以我们改成了三头 :policy + critic(V) + outcome(Q) 。其中 outcome 头直接预测三分类(胜/和/负)的期望 \(Q=p_{win}-p_{lose}\)。

接 MCTS 时必须用 outcome 头(--value-mode 1),原因有两条:

  1. 量纲一致性:Q 的取值在 −1, +1,与终局奖励同尺度,PUCT 里的 Q 才有意义;
  2. 和棋占比高的棋种:中国象棋职业对局和棋率约 40~50%,折扣回报会把"和棋"压成 0,而 outcome 头能显式表达"这局面 60% 和、20% 胜、20% 负"。

我做过值移植的 2×2 对照(同策略配不同来源的值头,160 局/格):

策略 值 得分
A1 策略 A1 值 .5437
A1 策略 W2 值 .5563
W2 策略 A1 值 .5031
W2 策略 W2 值 .3406

换值的影响远大于换策略 :同一策略下换值最多 ±0.013~0.16,同一值下换策略最多 −0.04~−0.22。这说明 MCTS 对"值语义"的敏感度高于对"策略来源"的敏感度------且好值救不了差先验(W2 策略 + A1 值仍然只有 .5031)。

3.3 直接接进去:搜索树是一条独腿

把 RL 模型(W2)接 MCTS 4000 visits,等节点打皮卡鱼,得 .4656 ;同一格 SL 模型(A1)是 .5437 (都是 160 局、batch 32,见 §1.4)。RL 接搜索反而更弱。

看树形就明白了。我们记录过根节点上访问量的集中度(top1N = 根的第一着法子树的节点占比):

配置 top1N 有效着法数 expHN
SL + MCTS 4 000 visits 0.586 ---
SL + MCTS 44 000 visits 0.709 ---
RL(W2) + MCTS 32 000 visits 0.994 1.06

RL 模型的搜索树是一条独腿:32000 个节点里 99.4% 挤在根的第一着法上,有效着法数 1.06------等于说"根上只有一个着法存在"。

注意对比:SL 模型从 4k 加到 44k(11 倍预算),top1N 只从 .586 涨到 .709,仍然是"几条腿";而 RL 模型在 4k 时就已经明显更尖,到 32k 直接塌成 1.06。"把树变窄"是正常现象(值越准越该窄),但窄到 1.06 是病态 ------PUCT 的 \(U\) 项本该把预算推向未访问的分支,但当其他着法的 \(P\) 只有 top-1 的 1/10 时,\(c\cdot P\cdot\sqrt{N}/(1+N)\) 拉不动它。

3.4 削峰:从一条独腿变成一条粗腿 + 一条细腿

直觉的修法是"把先验摊平"------既然 top-1 概率过高,就在训练时加熵正则,把分布压平。

我们做了单变量对照(--temp-target-ent,把策略温度的目标熵从 .40 提到 .70):

模型 改动后 ELO 变化
PPO 主臂(先验最尖) +89
SL(A1,本来就不尖) −1

结论是"摊平是救弱,不是增强":对先验最尖的 PPO 主臂有效(+89 ELO),对本来就不尖的 SL 完全无效(−1)。而且摊平只能把它从"一条独腿"变成"一条粗腿 + 一条细腿",救不回第三、第四名------因为那些着法的概率质量在训练里根本没被奖励过。

更直接的量化:我们试过把 SL 策略与 RL 策略按 \(P_{mix}=(1-a)P_{SL}+aP_{RL}\) 混合,接 MCTS 后打皮卡鱼(120 局/臂):

a(RL 权重) 得分
0(纯 SL 策略) .5333
0.25 .5083
0.50 .4042
1.0(纯 RL 策略) .3875

纯 SL 策略最好,混入 RL 策略越多越差。 这个结果和"RL 无搜索更强"并存,说明:RL 学到的"更准的 top-1"在搜索里被"更烂的排序"抵消了。

3.5 补充:batch 对低 visit 搜索是有害的

这一节是给做工程的同行的一条实用结论。

GPU 推理必须批处理,所以 MCTS 一次要"选一批路径再一起评估"。理论分析(我们推导 + 实测验证)指出:

设 batch = B、总预算 = V、根的最优子树分到 V/z。那么每"波"从该子树只能取 B/z 个位置,波数 = (V/z)/(B/z) = V/B ------ 与 B 无关。

也就是说,宽批不改变"这条线能走多深",但会让每批里混入更多"其他分支"的位置,从而降低每节点的有效信息。

实测(等节点 4000,A1,vs 皮卡鱼 4000):

batch 得分
8 .6219
16 .5719
32 .5094
64 .4469

每翻一倍 batch,掉约 41 ELO。 但这是等节点 口径;换成等墙钟 ,差距会被吞吐买回来:b8@4000 对 b64@8400(后者实测还少花 34% 墙钟)打 20 局是 .5000。所以准确的说法是"等节点必须用小 batch,等时间下宽批不吃亏"------等节点只是评测方便,不是实战口径。

LC0 / KataGo 怎么处理这个问题?

  • LC0 用 virtual loss :选路径时把已选节点临时当作"输了一盘"(N+1、Q 下调),逼迫后续选择走别的分支;更有趣的是他们后来改成了 "unscored virtual visit"------只增加 N、不动 Q,因为"假装输棋"过于悲观,会选出不合理的叶子。LC0 的批上限约 1200,社区明确写过"batch gathering 是扩展到多 GPU 的主要瓶颈"。
  • KataGo 同样用 virtual loss,并额外用 MCGS(把搜索树当 DAG) 合并转置局面,减少重复评估。

关键差别 :它们用 virtual loss 是为了"避免同一批里撞到同一节点"(碰撞浪费算力),而不是为了让宽批变强 。也就是说,工业界的做法是"承认宽批有代价,只能尽量减少碰撞"。这和我们的实测结论一致:低 visit 场景应该用小 batch (我们的默认公式后来改成了 batch ≈ visits/500,4000→8)。


第四章 为什么 PPO 无法接入 Minimax 搜索(以 BFMS 为例)

4.1 BFMS 的思想:优先展开"最可能改变主变"的节点

αβ 是深度优先,MCTS 是"按访问分布"选,还有第三条路:Best-First Minimax Search(BFMS)。

它的核心思想非常朴素:当前主变(principal variation)的叶子,是"决定根节点值"的那个节点------所以优先展开它。 因为根的值等于某个叶子节点的静态值,而主变叶子就是那个叶子。展开它,最有可能改变根的值。

Korf & Chickering 1996 的定义是:给定一个部分展开的博弈树,把每个 MAX 节点取孩子的最大值、MIN 节点取最小值,得到根值;沿着使根值成立的那条路径(主变)找到叶子,展开它,重复。

这与 MCTS 的差别在于:MCTS 用均值 + 访问数奖励 来分配预算,BFMS 用min/max + 主变来分配。

理论上它有一个诱人的性质:它不依赖"全宽度排序",只依赖"当前主变是否值得再往下看" 。如果 PPO 只把 top-1 做准了,BFMS 应该比 αβ 和 PUCT 更兼容------这是我们在 11 月做这一系列实验的动机。

4.2 我们的伪代码:如何选一批节点

BFMS 的原版一次只展开一个节点,无法利用 GPU 的批处理。我们设计了一个"批量版":

复制代码
主变列表 = []
item = 根
batch = []

# 阶段一:沿主变一探到底,每层各展一个动作
while true:
    主变列表.add(item)
    if item 有孩子未展开: batch.add(item, item 策略头的下一个动作)
    if item 的第一孩子已展开: item = item.第一孩子
    else: break

# 阶段二:按(层, 孩子序号)字典序回退
for index = 2, 3, 4, ...:
    foreach item in 主变列表.倒序:
        if item 的可行招法数 < index: continue      # 展不动就往上找
        if item 的第 index 孩子未展开:
            batch.add(item, item 策略头的下一个动作)
        else:
            tempItem = item.第 index 孩子
            while tempItem 有孩子未展开:
                batch.add(tempItem, tempItem 策略头的下一个动作)
                if tempItem 第一孩子已展开: tempItem = tempItem.第一孩子
                else: break
    if 本轮没有向 batch 添加任何元素: break
# batch 满则立刻停止

设计意图:阶段一 保证主变每次都往前探一层;阶段二保证"主变的旁支"按"最可能改变主变"的顺序被逐个展开(先第 2 孩子、再第 3 孩子,从最深一层向根扫描)。

实现上踩了不少坑(记录在此,供同行少走弯路):

  • DAG 成环 :置换表合并后,bestKid 可能指回链上已有节点,导致主变列表无限增长------必须对主变链和 tempItem 链都做去重。
  • break vs continue :阶段二里"某层招法数不足"应该 continue(跳过这层继续向上找),而不是 break(整轮停止)。写错会漏掉浅层那些招法多的节点。
  • 性能陷阱 :不要为了"边展边建"而在收集阶段调 encodeFeaturesAndMask(内含两次 legalFor + 19 KB memset)。把动作按策略概率排序存下来(ord[])就够了,实测这一步能省 60 倍时间。

4.3 实验结论:BFMS 不优于 MCTS,且同样受排序制约

我们跑了三档预算、两张网,但用了两种口径,必须分开看 :4000 / 32000 两档是等节点打皮卡鱼 ,64000 那一档是同网 h2h(BFMS 与 MCTS 用同一张网直接对下)。两种口径的分数不能相减,也不能放进同一张表里比较。

(a)等节点打皮卡鱼

档位(局数) BFMS + SL BFMS + RL MCTS + SL MCTS + RL
4000 / b128(各 40 局) .212 .113 .500 .438
32000 / b256(10 / 10 / 30 / 10 局) .100 .000 .1333 .100

(b)同网 h2h:W2 自对弈,64000 visits / b512,8 局

搜索 得分 胜-和-负
BFMS + W2 .062 0-1-7
MCTS + W2 .938 7-1-0

三条结论:

  1. BFMS 有效,但远不如 MCTS:比纯策略(.013)高一个量级(.212);4000 档是 .212 vs .500(约低 200 ELO);32k 档 .100 vs .1333 落在 10 局噪声内(1σ≈±.16),只能说"没突破";64k 的 h2h 最直接:0-1-7。
  2. BFMS 放大策略头的差距 :4000 档里 A1 与 W2 的差,在 MCTS 下是 .500 vs .438(+43 ELO),在 BFMS 下是 .212 vs .113(≈+130 ELO)。方向一致,但两个差都还没超出 40 局噪声 (每臂 1σ≈±.08 score,差值 ≈±110 ELO),只能当方向性证据。机制上讲得通:BFMS"每节点每批只展一手",这一手完全由先验决定,排错了本轮没有第二次机会;而 PUCT 的 c·P·√N/(1+N) 能靠"访问不足"把先验错的兄弟拉回来。
  3. 换收集顺序救不了 :我们试了 6 种收集变体(DFS 回溯、字典序回退、放开锁定、每层一手、伪代码、break/continue),全部落在 .075~.212 (20 局 1σ≈±.11、40 局 ≈±.08,彼此基本不可区分)。它们的差别本质上只是"根上集中度 top1N"的差别:集中(0.29~0.99)就能打,分散(0.20)就崩。

一句话总结第四章 :BFMS 把"预算分配"从"值 + 访问数"换成了"min/max + 主变",但它依然要靠策略头决定"每个节点先展哪一手"。PPO 的先验一选准、其他选烂,换哪种搜索都是在按一个残缺的排序走。

4.4 历史研究怎么说?(一个需要纠正的流行说法)

我最初听到的说法是"博弈论领域早就证明 BFMS 不如 αβ"。查了原始文献后,这个说法不准确,真实情况更微妙、也更有意思:

Korf & Chickering, Best-first minimax search, Artificial Intelligence 84 (1996) 299--337 的结论是:

  • 在均匀随机博弈树 上,同样计算量下 BFMS 优于 αβ;
  • 在随机分支因子 的树上,浅层 BFMS 优于 αβ,但深层最终会输;
  • 在 Othello (用当时最强程序 Bill 的评估函数)上,BFMS 也赢 αβ;
  • 他们最后提出一个 αβ + BFMS 的混合算法,在两个领域都显著优于纯 αβ。

也就是说,原始论文并不支持"BFMS 不如 αβ" 。真正的问题在另一处,2025 年的一篇综述(arXiv:2505.9639,Study and improvement of search algorithms in two-players perfect information games)写得很直接:

"This one had some success in Othello and then fell into oblivion ... if the heuristic evaluation function is bad, the partial game tree will be bad, in addition to the fact that the values of this tree will be bad. Its performance will then be lower than with a classic minimax."

所以准确的表述是:

BFMS 的强弱完全取决于评估函数的质量。评估准,它能在同等算力下赢 αβ;评估差,它会比经典 minimax 更差------因为它把"往哪搜"的决定权完全交给了评估函数(min/max 回传),而 αβ 至少还用固定深度兜底。

这条对我们尤其致命:我们的评估函数(单次网络前向 + 部分展开的 min/max)恰恰是"坏评估"------根上 30 多个着法的真实值差只有 .01~.05,完全落在单次评估的噪声里。

顺带一个有意思的后续:BFMS 并未真的死掉。Cohen-Solal 的 Athénan 把它重新捡起来(Unbounded Minimax + safe decision),配合自己 RL 学出来的评估函数,在 Computer Olympiad 上拿了 48 金 8 银 4 铜、17 个项目的卫冕冠军,并击败了多个 AlphaZero 复现。这反而印证了同一条结论:BFMS 的上限由评估函数决定,而不由搜索本身决定。


第五章 总结

四章下来,三种搜索各自失败的具体原因不同,但根因收敛到同一处。

5.1 三种搜索的"接口要求"与 PPO 的"产物"对不上

搜索 它需要什么 PPO 给了什么 结果
αβ 全宽度的粗排序(决定 LMR/futility 剪谁、TT 先搜谁) 精确的 top-1 + 崩塌的 2 名以后 接不上,且理论上无解
MCTS/PUCT 均值式 Q + 有区分度的先验(\(U\) 项要能拉动兄弟) Q 可用,但先验 top-1 占 0.8~0.99,\(U\) 拉不动 树退化成一条独腿
BFMS 可靠的评估函数(min/max 全靠它) 单次评估噪声 ≈ 真实值差(.01~.05) 等节点下比 MCTS 低 200~300 ELO

表里 αβ 的"需要排序"是指算法对排序质量的要求,不是说它的排序来自网络:真实引擎的排序来自 TT / SEE / history 这些搜索统计(§2.2)。PPO 的策略若想进 αβ,唯一的接口就是当排序先验------而那正是它最弱的地方。

5.2 一句话:PPO 只优化"最优解",不产出"排序"

PPO 的目标函数是 \(\mathbb{E}\\min(r_t A_t, \\text{clip}(r_t)A_t)\),其中 \(A_t\) 由 outcome 决定。这个梯度只关心"我选的这一手好不好",从不关心"第二、第三好的着法与它的相对关系"。

而所有搜索算法的效率,都建立在"排序"上:

  • αβ:排序决定剪枝率,完美排序把有效分支因子从 b 降到 √b;
  • PUCT:排序(\(P\))是探索项的一部分,决定"哪些分支值得试";
  • BFMS:排序决定"每层先展哪一手",而它是唯一的展开发。

所以"PPO 无法接入搜索"不是工程问题,是目标函数与搜索接口不匹配。

5.3 如果要继续,应该做什么

不是去换搜索算法(我们在第四、五章试了 6 种收集方式、3 种搜索、2 张网,全部收敛到同一结论),而是改训练目标,让它直接优化"完整排序":

  1. 蒸馏搜索的访问分布(AlphaZero 的做法):不要用"人类着法"或"终局胜负"当标签,用"MCTS 访问分布"当标签。它天然是全宽度的。
  2. 列表式损失 / Plackett-Luce:把 top-k 的排序作为一个整体来优化,而不是逐点交叉熵。
  3. 显式的排序监督:用强引擎的 MultiPV 输出构造"这 3 手都是好棋"的软标签(我们诊断过真实近优着法数是 2.93,目标是让模型的 top-3 覆盖它)。
  4. 不要只盯 top-1 准确率 :我们有过"准确率涨 1.56 pp 但棋力下降"的实例。能用的指标应该是"top-k 的排序相关性"(如 Kendall τ)与"top-3 覆盖率",不是 top-1 命中率。

最后一条也许是本文最有实操价值的一句:

如果你的模型只有一选能用,那就别指望搜索能帮你------搜索的全部价值,来自"在多个差不多的选项中挑一个更好的",而不是"把一个已经选好的选项执行得更彻底"。


参考文献

  1. Lin, J., Shu, Z., Chen, Y. Mastering Chinese Chess AI (Xiangqi) Without Search . arXiv:2410.04865, 2024. https://arxiv.org/abs/2410.04865
  2. Silver, D., et al. Mastering the game of Go without human knowledge. Nature 550, 354--359, 2017.(AlphaGo Zero)
  3. Silver, D., et al. A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science 362, 1140--1144, 2018.(AlphaZero)
  4. Korf, R. E., Chickering, D. M. Best-first minimax search . Artificial Intelligence 84(1--2), 299--337, 1996. https://www.sciencedirect.com/science/article/abs/pii/0004370295000968
  5. Korf, R. E., Chickering, D. M. Best-First Minimax Search: First Results . AAAI Technical Report FS-93-02, 1993. https://cdn.aaai.org/Symposia/Fall/1993/FS-93-02/FS93-02-006.pdf
  6. Study and improvement of search algorithms in two-players perfect information games. arXiv:2505.9639, 2025.(BFMS "fell into oblivion" 的评述、Athénan 的改进)
  7. Cohen-Solal, Q. Descent: A zero-knowledge reinforcement learning algorithm. 2020;及 Cohen-Solal & Cazenave 2021--2023 关于 Athénan 的一系列工作。
  8. Schulman, J., et al. Proximal Policy Optimization Algorithms. arXiv:1707.06347, 2017.
  9. Schulman, J., et al. High-Dimensional Continuous Control Using Generalized Advantage Estimation. arXiv:1506.02438, 2015.(GAE;VECT 是对其求和做固定窗口截断的修正)
  10. Ye, D., et al. Towards Playing Full MOBA Games with Deep Reinforcement Learning. NeurIPS 2020.(Dual-clip PPO 的来源,Honor of Kings)
  11. Stockfish / Pikafish 源码:search.cpp 的 TT probe 顺序、rule50_count() < 96 守卫、value_from_tt 的 ply 归一化。https://github.com/official-stockfish/Stockfish | https://github.com/official-pikafish/Pikafish
  12. Leela Chess Zero 文档:Alphazero Primer (PUCT、FPU、virtual loss / unscored virtual visit)https://lczero.org/dev/lc0/search/alphazero/ | Gathering larger batches (batch 上限与碰撞)https://lczero.org/dev/old/lc2/batching/
  13. KataGo 技术文档(PUCT、virtual loss、MCGS)https://github.com/lightvector/KataGo
  14. Grill, J.-B., et al. Monte-Carlo tree search as regularized policy optimization . ICML 2020. arXiv:2007.12509(\(\bar\pi=\lambda_N\pi_\theta/(\alpha-q)\) 的闭式解;低预算时收益主要来自 LEARN 而非 SEARCH)
  15. Nau, D. S. Pathology on Game Trees Revisited and an Alternative to Minimaxing. Artificial Intelligence, 1983.(minimax 对评估误差的病态敏感性;这是理解 BFMS 为何"评估差就崩"的理论背景)
  16. 象眼(ElephantEye,黄晨)《中国象棋程序设计探索(三):搜索和置换表》------长将判负与置换表的冲突、BAN_VALUE 不入表。https://www.xqbase.com/computer/eleeye_search.htm
  17. Kishimoto, A., Müller, M. A General Solution to the GHC Problem in Game Tree Search . AAAI 2004. https://aaai.org/Papers/AAAI/2004/AAAI04-102.pdf

说明:本项目全部实验脚本、原始日志与逐日记录保存在私有仓库中;文中所有"得分"均为等节点、同开局、固定局数下的对局得分(和棋计 0.5),可直接复现。

相关推荐
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
AvocadoZeroOneOI7 小时前
B4500 [GESP202603 三级] 凯撒密码 详细解题报告
c++·算法
cjz38999 小时前
双指针技巧:覆盖式双指针(原地覆盖)
算法
橘子1312 小时前
【高级数据库】关系代数基本概念
算法
电科_银尘1 天前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴1 天前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David1 天前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
Pniubi1 天前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK1 天前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set