継続対局によるvalue教師信号の検証: 8局平均は現行モデルを上回らなかった

Splendor（宝石の煌き）は、宝石トークンを集めて発展カードを購入し、カードのボーナスを活用して購入コストを下げながら、15点以上の勝利点到達を目指すボードゲームである。本作において評価関数（value）は、特定局面から対局を続行した場合に最終結果が loss / draw / win のいずれに帰着するかを予測する役割を担う。

これまでの自己対局強化学習では、1対局（episode）の最終勝敗結果を、その対局中に通過した全局面に対する value の教師ラベル（target）として一律に割り当てていた。1ゲーム中には平均して約58手番の意思決定（decision）が存在するため、まったく同一の win / draw / loss ラベルが多数の異なる局面に複製されて付与される。

この方法は強化学習において標準的なアプローチであり、教師信号として本質的に誤りというわけではない。しかし、たった1回の対局結果にはサンプリングの偶然性や終盤の手順選択による大きな分散（ノイズ）が含まれ、同一エピソード由来の教師ラベル同士も極めて強く自己相関する。以前の長時間学習の実験でも、value head が汎化性能を落とす前に極端な確信度（過剰な自信）を持って過学習へ向かう現象が確認されていた。

そこで今回は、同一局面を起点として複数回の継続対局を行い、その局面における勝敗確率分布をモンテカルロ的に推定したものが、より質の高い教師信号になり得るかを検証した。

同じ局面から16回続きをプレイする

検証対象とする公開局面（public state）を固定し、現行の探索モデル同士を用いてその局面から各16回の対局を実行した。探索条件は実戦と同一の PUCT 32 シミュレーションで固定し、乱数シード（episode seed）のみを変更して対戦させた。

例えば16回の継続対局結果が

loss  5
 draw  1
  win 10

となった場合、その局面における経験的な WDL（勝敗）分布は

として求まる。

この継続対局平均を直ちに新たな教師ターゲットとして全量生成する前に、まず「8回程度の継続対局から算出した経験分布は、現行モデルの value 出力よりも真の勝敗を正確に捉えられているのか」を定量評価することにした。

各局面における16回の対局結果を、8回ずつのサブセット A と B（それぞれ $y_A$, $y_B$）に無作為分割する。現行モデルの WDL 予測出力を $M(s)$ と置く。

各局面 $s$ について、評価指標として以下のブライア・スコア差分 $D(s)$ を定義した。

ここでブライア・スコア（Brier score）は予測確率分布と観測された正解ラベルとの平均二乗誤差であり、値が小さいほど高精度な予測であることを示す。もし $D(s) > 0$ であれば、現行モデル $M(s)$ よりも8回の継続対局平均 $y_A$ の方が、独立に得られた残り8回の対局結果 $y_B$ をより高精度に予測できていることになる。

最初の512 state pilotには問題があった

当初は512局面を抽出し、各局面から16回ずつ、合計8,192対局を実行するパイロット検証を行った。

しかし評価結果は mean(D) = -0.00808、片側95%信頼区間の下限は -0.02052 となり、事前に設定していた採用基準「$D > 0$」をクリアできなかった。

さらに実験後の監査において、評価用局面の母集団重複（data leakage / state overlap）という重大な不備が判明した。

抽出した512局面のうち、実に459局面が現行モデルの訓練データ（train split）に既に含まれていたのである。

継続対局自体の結果は新たに生成したものであっても、入力となる盤面状態そのものをモデルが学習フェーズで既知としている以上、この結果を未見の局面に対する正当な汎化性能評価として扱うことはできない。

「乱数シードを数千個変えて新規に対局を生成する」だけでは、局面自体の母集団が学習データと重複している問題は解決されない。

このため本パイロット実験の結果は、サポート内（on-support）での参考診断にとどめ、汎化性に関する意思決定の根拠からは除外することにした。

test splitだけでやり直した

そこで、本来のグループ分割（group split）において評価用テストセット（test split）として完全に隔離されていた195局面のみを対象とし、厳密な条件のもとで再検証を実施した。

対局を実行する前に、訓練セット（train）および検証セット（validation）の局面と、公開局面キー（public-state key）の完全一致がないこと、および初期配置グループの重複がないことを確認した。さらに、初期の教師あり学習用データ（supervised warm-start data）との重複も0件であることを検証済みである。

195局面 × 各16回の継続対局により、合計3,120対局を実行した。

統計検定上の独立な標本単位は3,120対局ではなく195局面である点に注意が必要である。同一局面から得られた16回の対局結果は、その局面における潜在分布を推定するための反復観測値（replicate）として集約した。

検証結果は以下の通りである。

厳密なホールドアウト環境下で再評価したものの、8回の継続対局平均が現行モデルの予測精度を統計的に上回るという根拠は得られなかった（判定: stop）。

なお現行モデル単体の予測性能は、16回の平均ラベルに対して Brier スコア 0.06477、交差エントロピー 0.59649、スカラー MAE（平均絶対誤差）0.27410 を記録していた。

単純な calibration の問題でもなさそうだった

もし現行モデルの value ロジットが単に過剰な確信度を持っている（overconfident）だけであれば、温度スケーリング（temperature scaling）による後処理で精度が改善する余地がある。

そこで195局面を適合用（fit）と評価用（eval）に分割してキャリブレーション診断を行ったところ、最適温度パラメータ $T$ は 1.0065 と算出された。スケーリング後の指標変化も、交差エントロピーが 0.60447 から 0.60420 へ、Brier スコアが 0.06932 から 0.06926 へとごくわずかに動いた程度であった。

最適温度がほぼ 1.0 であることから、本現象はロジットのスケール調整だけで容易に是正できる性質のものではないことが確認された。

あわせて、loss / draw / win のクラス順序や、どちらのプレイヤー視点から value を構築しているかの対応関係（マッピング）も再検証したが、符号の反転バグ等は存在しなかった。

近い終局だけは少し違う傾向もあった

事後的な要因分析として、局面を終局までの残り手数（decision数）ごとに層別化して $D$ の平均値を集計したところ、興味深い傾向が確認された。

1-8 decisions     +0.0354
9-16 decisions    +0.0328
17-32 decisions   -0.0220
33+ decisions     -0.0449

終局まで8手以内の終盤局面においては継続対局平均の予測精度が上回る傾向を示した一方、残り手数が長い序中盤の局面では現行モデルの出力の方が良好な結果を示した。

ただし、この層別化は実験前に定めた事前の判定プロトコルには含まれていない。ホールドアウト結果を確認した後に「終盤に限れば有効である」と基準を事後変更することは、同一データに対する過剰適合（p-hacking）につながる。

したがって、この観察結果のみを根拠として終盤限定の教師ターゲットを採用したり、同じホールドアウトデータで追試を行ったりすることは避けた。

実験用のstate読込にもバグが見つかった

本実験の検証コードを整備する過程で、Apache Arrow のスライス構造体（sliced struct）を C++ 側へ転送するデコード処理において、オフセット値（offset）が正しく適用されていない実装不備が発見された。

ゼロ以外のオフセットを持つスライスをデコードする際、本来指定された行ではなく先頭領域のデータを誤って読み出すケースが生じていた。抽出した512局面を処理したにもかかわらず、モデルの出力ロジットが4種類しか現れないという不自然な挙動の調査から発覚したものである。

親構造体およびネストされたプレイヤー構造体の双方でオフセットを正しく考慮するよう修正を施し、非ゼロオフセットに対する回帰テストを追加した。

なお本不備は今回の局面抽出パイプラインに限定されたものであり、過去に実施した8エポックの value 過学習検証等の実験結果には影響を与えないことを確認している。

今回はcontinuation targetを採用しない

本検証の主眼は、「1回の対局結果（hard WDL）をそのまま教師ラベルとするよりも、同一局面から8回対局させた平均分布を用いた方が、value の学習が安定するのではないか」という仮説の妥当性を確かめることにあった。

複数回の継続対局（replication）は、確かに教師ターゲットの標本分散を低減させる。しかし交差エントロピー損失の期待勾配という観点では、1回のサンプリング結果であっても複数回の平均値であっても、母集団における理論上の最適解（population optimum）は一致する。継続対局を導入する実質的な価値は、有限サンプルにおける観測ノイズや特定の対局系列の暗記をどこまで緩和できるかにある。

今回の独立ホールドアウト検証では、8回サンプリングによる分散低減効果が、現行モデルの予測精度を凌駕するほどの優位性をもたらす証拠は得られなかった。

この結果を受け、大規模な継続対局データの生成、評価関数ヘッドの再学習、および本番ターゲット生成プロトコルの刷新は見送る判断を下した。

一方で、「1対局の勝敗結果を数十手におよぶ多数の局面に一律複製している」という構造的な課題自体が解消されたわけではない。今回の検証は終局勝敗ラベルが最善であることを証明したのではなく、現行のモデル性能、局面分布、および8回というサンプリング規模においては、継続対局平均への切り替えを正当化する根拠が得られなかったという範囲の結論にとどまる。

シミュレータを用いて局面条件付きの勝敗分布を直接測定した結果、対局シード数を増やすだけでは不十分であり、局面レベルで厳密に独立したホールドアウト設計が不可欠であることを再認識した。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。