探索評価値をvalue教師に反映させたモデルを1,600局で検証した
Splendor は、宝石トークンを集めてカードを購入し、手に入れたカードのボーナスを以後の購入コストの割引として活用しながら得点を競うボードゲームだ。開発中のモデルは各局面において、次にどの手を選択すべきかを示す policy と、最終的な勝敗（win / draw / loss）を見積もる value の2つを予測する。
前回は、128回の PUCT 探索を用いて8,192局の自己対局データを生成した。その結果、policy 側の教師信号は大幅に洗練された一方で、探索中に得られるルートノードの評価値（root value）は、終局から離れた局面において最終結果との乖離が大きい傾向が見られた。
そこで今回は、同一の自己対局データを用いながら、value の教師信号の設計のみを変更した2種類のモデルを学習し、実際の実戦対局を通じてその影響を比較した。
最終結果のみと探索評価値併用の比較
2つのモデルは、同一の初期チェックポイント、同一の478,364局面、同一の optimizer 設定、そして同一の1エポック学習条件を共有している。
異なっているのは、value 予測に与える教師ターゲットの設計のみだ。
T: terminal outcome のみM: terminal outcome に search root value を 1/3 の比率で反映モデル M は、最終勝敗の情報を破棄するわけではない。終局時の勝敗結果をベースとして残しつつ、その局面で128回の simulation 探索によって得られた評価値をわずかに反映させる構成をとっている。
1ゲーム全体の最終勝敗ラベルを全局面に一律で割り当てるよりも、各局面固有の探索シグナルを付与することで、局所的な局面評価の精度を高められるかを確かめることが狙いだ。
オフライン指標による評価
学習後のテストデータセットに対する評価指標は、両モデルでほぼ同等の水準を示した。
| 指標 | T | M |
|---|---|---|
| policy KL | 0.2292 | 0.2280 |
| WDL loss | 0.6384 | 0.6306 |
| WDL Brier | 0.4252 | 0.4221 |
| WDL accuracy | 0.6440 | 0.6456 |
一部の指標でモデル M のほうがわずかに良好な値を示しているものの、この程度の差分だけで実戦における優劣を判断することは難しい。
ゲーム AI の開発においては、同一の探索条件を揃えた直接対局によってモデルの実力を測るアプローチが最も信頼性が高い。
800ペア（1,600局）によるベースライン対局
そこでモデル T とモデル M のそれぞれを、学習前のベースラインである bootstrap model と対局させた。
共通の800種類の初期配置を用い、先手と後手を入れ替えた2局を1組（ペア）として実施した。対局時の探索設定は、両者ともに同一の 32-simulation PUCT を適用している。
| challenger | pair score |
|---|---|
| T | 0.501250 |
| M | 0.516563 |
同一の初期配置ペアごとにモデル M とモデル T のスコア差を算出すると、平均差は次の値となった。
しかし、この差分に対する片側95%信頼下限値は -0.010782 であった。
点推定の数値としてはモデル M が上回っているものの、800ペア（1,600局）の試行規模では、最終勝敗のみを教師としたモデル T との有意差を十分な統計的確度で示すには至らなかった。
ただし、事前の採択基準として「点推定値で上回っていればモデル M を次のステップへ進める」と定めていたため、今回はモデル M を採用候補として選択した。
新規1,600局によるモデルMの追加検証
続いて、採択したモデル M について、新たな800ペア（合計1,600局）の独立した対局環境を用意し、bootstrap model との再評価を実施した。
対局結果の集計は以下の通りだ。
| 結果 | 局数 |
|---|---|
| M 勝ち | 838 |
| draw | 6 |
| bootstrap 勝ち | 756 |
| pair score | 0.525625 |
| one-sided lower bound | 0.505017 |
片側信頼下限値が0.5を上回ったため、本評価のレギュレーションにおいてモデル M が bootstrap model に対して勝ち越していることが確かめられた。
もっとも、その差は決して大きくない。信頼下限値は勝率五分（0.5）を約0.005上回る水準にとどまっている。
ここで実証できたのは、あくまで「このモデル M 全体がベースラインモデルを上回った」という事実である。
この改善が探索評価値の併用（search-value mix）単体による効果であると結論付けることはできない。モデル T とモデル M の直接比較における信頼区間は0を跨いでおり、かつ今回の追加検証ではモデル T の追試を実施していないためだ。
探索評価値の有効性に関する考察
事前の懸念として、長い手数を経た際の探索ルート評価値のバイアスを考慮すると、「探索値を教師信号に混ぜることでモデルが不安定化するのではないか」という危惧があった。
今回の実験を通じて、探索値を1/3の割合で反映させたモデルであっても性能劣化を招くことはなく、独立した1,600局の検証においてベースラインモデルを上回る実力を発揮できることが確認できた。
一方で、最終結果のみを用いる手法に対して探索評価値の併用が真に優位性を持つのかという点については、現段階では確証を得られていない。
確認できたこと M model > bootstrap under the fixed arena
まだ確認できていないこと search-value mix > terminal-only点推定のわずかな差分のみをもって、探索評価値の導入が直接的な勝率向上に寄与したと結論付けるのは早計だ。
当初計画していた次の2世代目の自己対局ループは、この段階では保留している。まずは今回の微小な差分を過大評価することなく、value の教師ターゲット設計が実対局に及ぼす影響をより高精度に評価できる実験系を整えていく予定だ。
この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。