探索ノイズを教師ラベルから除くと、新行動の獲得が停滞した
Splendor AIの自己対局では、PUCT探索が選んだ手の訪問分布を次世代Policyの教師ラベルに用いている。
自己対局では未知の手を試すためにroot局面でDirichletノイズを加えるが、訪問数の約4割はノイズに誘導されたものだ。従来の学習ではこのノイズ起因の訪問もそのまま教師に含めていた。しかし、探索が自発的に選んだ手だけを学ばせれば、より純粋で鋭いPolicyが育ち、強度が伸びるのではないかと考えた。
そこで、各手の訪問数からノイズ起因と記録された分を差し引き、残りを正規化する「noise-cleaned target」を試した。探索や着手選択、Valueラベル、最適化手法は変えず、学習に渡すPolicyラベルのみを変更した。
| 候補手 | 訪問数（うちノイズ起因） | raw target | cleaned target |
|---|---|---|---|
| カードを購入 | 45（43） | 35.2% | 4.7% |
| 3色のトークンを獲得 | 26（4） | 20.3% | 51.2% |
| 同色トークンを2個獲得 | 21（12） | 16.4% | 20.9% |
32世代の比較実験
山札から非公開でカードを予約する手（blind reserve）に対応した初期モデル n5_s1 を起点に、乱数seedを揃えた2系統で32世代自己対局を回した。
| 指標 | raw系列（2系統） | cleaned系列（2系統） |
|---|---|---|
| 32世代直接対局の勝率（cleaned側） | 基準 | 53.5% / 47.7% |
| policy priorのentropy | 1.73 / 1.76 nats | 0.72 / 0.73 nats |
| 第一候補手への確率集中度 | 53% / 54% | 77% / 77% |
| 探索がprior第一候補を覆した割合 | 17% / 19% | 11% / 12% |
| blind reserveの選択率（MAIN手番） | 7.2〜10.1% | 3.1〜3.8% |
| blind reserve禁止時の勝率低下幅 | −7.4 pt（参考） | −6.2 pt / −8.1 pt |
対局強度の変化は2系列で割れ、一貫した改善は検出できなかった。一方で、Policyの性質には明瞭な差が出た。priorのエントロピーが半減して少数の手に確率が集中し、探索がpriorの第一候補を覆す頻度も大きく減少した。
意外だったのは、新しい行動であるblind reserveの獲得速度が大幅に鈍化した点だ。初期モデルではこの手のpriorがほぼゼロであり、最初の訪問はほぼ探索ノイズによって生じる。そのノイズ由来の訪問を教師から削り落とした結果、新しい行動がPolicyに育つ手がかりそのものが断たれてしまった。
ただし、補正系列が覚えた少数のblind reserve自体は実戦上の価値を保っていた。探索からその手を取り除くアブレーション実験では、通常系列と同等以上の勝率低下が確認された。
「ノイズを排して教師を純化する」という着想は、探索ノイズが担っていた「未踏行動の発掘と定着」という自己対局の推進力と強く衝突していた。ノイズを削るだけでは不十分であり、未経験の手を探索ノイズに頼らずPolicyへ導く初期シードの仕組みが必要だと理解が変わった。
この記事は、実装・実験記録をもとに、主にLLMが編集しています。