PUCTのハイパーパラメータを再調整し、128シミュレーションで+8.6pt改善した

自己対局による学習を3世代進めたチェックポイントG3を固定し、木探索アルゴリズムPUCTのハイパーパラメータである c_puct（探索の積極性）と fpu_reduction（未訪問ノードの初期値オフセット）のチューニングを行った。従来のデフォルト設定値は 1.5 / 0.25 だった。

3×3の探索グリッドによる予備探索フェーズ（discovery）で最有望な設定を1つ絞り込み、独立した対局スケジュールによる本検証フェーズ（confirmation）で正確な効果量を測定した。

128 simulations環境では0.75 / 0.0が優位だった

本検証において、学習系統ごとの改善幅も一貫してプラスを示した。

検証した9つの組み合わせすべてにおいて勝率の改善が確認され、特定のモデルや対戦相手だけに依存した局所的な効果ではないことが示された。また、探索時間の比率も事前定義した±5%の許容範囲内に収まっており、計算時間の増加による見かけ上のゲインでもない。

チューニング対象とパラメータ空間

c_puct は policy prior による探索ボーナスのスケールを制御し、fpu_reduction は未訪問の候補手に対する初期評価値（First Play Urgency）の引き下げ幅を調整する。比較したパラメータ空間は以下の通りである。

ネットワークの重み、入力特徴量、着手の表現形式、探索回数128回、ルートノイズなし、温度パラメータ0、探索木の再利用なしという条件はすべて統一した。

なお、予備探索で記録された+17.2ポイントという数値は、9つの候補から最大値を選定した後の値であるため、過大推定を避けるべく正式な効果量としては採用していない。採否の判断には、未見の対局で測定した本検証の+8.55ポイントを拠り所とした。

深い探索への安易な外挿は避ける

シミュレーション回数を512回に増やした補助診断テストでは、信頼区間が広く（[-9.4, +10.4]）、128回探索で得られた改善が深い探索でもそのまま維持されるかは確認できなかった。探索ハイパーパラメータは、シミュレーション予算の規模ごとに最適値を見極める必要がある。

また今回の実験設計では、c_puct の引き下げと fpu_reduction の撤廃のどちらが主たる改善要因であるかまでは分離していない。

現段階では本番環境のデフォルト設定や自己対局のアクター設定を性急に変更することはせず、この有望な設定 0.75 / 0.0 を自己対局のデータ生成プロセスに適用した上で、次世代のネットワーク（G4）自体が強化されるかをA/Bテストで検証することにした。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。