自己対局ループの投入前に、EATにおけるPUCT探索の効果を検証した

教師あり学習によって訓練した同一の EAT チェックポイントを用い、方策ネットワークが直接予測する最善手（raw policy の argmax）と、PUCT によるゲーム木探索を適用したプレイヤーとを直接対戦させた。この実験の目的は、本格的な自己対局ループへ移行する前に、探索の導入が追加の計算コストに見合う実力向上をもたらすオペレータとして機能しているかを検証することである。

シミュレーション回数の比較

同一の初期盤面セットを用い、先手・後手を入れ替えたペア対局を実施した。ルートノイズは付与せず、探索温度パラメータは 0 で評価している。

128回シミュレーションにおける95%信頼区間の下限（0.8116）は、事前に採択基準として設定していた 0.55 を大幅に上回った。

スコアの伸びを見ると、32回から128回への増加で +0.1416 の改善が見られたのに対し、128回から512回への増加では +0.0498 の伸びにとどまった。512回の方が対局性能としては優れているものの、自己対局データの生成にかかる計算コストも約4倍に膨らむ。データ収集スループットと探索強度のバランスを考慮し、以後の標準シミュレーション予算を128回と定めた。

固定のルールベース対戦相手でも改善を確認

同一ネットワーク同士の内戦だけでなく、固定のルールベースAI（point rush）を相手にした対局においても、探索を適用することで勝率が大幅に向上することが確認された。

今回の検証で明らかになったのは、固定された静的なネットワークに対する探索アルゴリズムの有効性である。次のステップでは、PUCT128 が生成した訪問回数分布を新たな学習ターゲットとし、ネットワーク自身の能力へと還元できるかを自己対局ループを通じて検証していく。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。