学習行数を増やさずに自己対局数を4倍にスケールしたら、対局勝率が向上した

Splendor は、宝石トークンを集めてカードを購入し、獲得したカードのボーナスを以降の購入割引として活用しながら勝利点を伸ばしていくボードゲームである。現在のニューラルネットワークモデルは、次にどの手を選択すべきかの方策（policy）と、その局面から最終的に勝利・引き分け・敗北に至る確率である局面評価（value）を同時に学習している。

これまでの実験から、モデルを長時間学習させた際に、方策よりも先に局面評価ヘッドが過学習に陥りやすい傾向が判明していた。

そこで今回は、モデルサイズやオプティマイザの更新ステップ数を増やすのではなく、学習に使用する総データ行数を固定したまま、「より多数の対局から少数の局面をサンプリングする」アプローチを検証した。

結論から述べると、データソースとなる対局数を4倍に拡大したことで、未知の局面に対する局面評価の汎化性能が大きく向上し、方策の精度を損なうことなく、実対局での勝率も明確に向上することが確認できた。

1つのゲーム結果が数十もの局面に波及する構造

局面評価（value）の正解ラベルには、対局終了時における最終的な勝敗結果（WDL: Win / Draw / Loss）が用いられる。

1ゲームが平均して58手程度で決着する場合、たった1つの最終結果が、ゲーム途中に現れる約58個の局面すべてに同一のラベルとして割り振られる。

1ゲーム
  局面 1  ─┐
  局面 2   │
  局面 3   │
   ...     ├─ まったく同一の最終勝敗ラベル（WDL）
  局面 58 ─┘

もちろん盤面の配置自体は局面ごとに異なるため、完全に同一のデータが重複しているわけではない。しかし教師ラベルの根源が同一の対局結果である以上、データ間に強い相関が存在することは避けられない。

過去の学習実験において、同一のデータセットでエポックを重ねると、方策の改善が頭打ちになる一方で、局面評価の検証損失が悪化する現象が見られた。このことから、「学習データの行数そのものよりも、独立した対局結果のサンプル数（エピソードの多様性）が不足しているのではないか」という仮説を立てた。

学習行数を固定し、エピソード数のみを4倍に増やす

検証した2つのデータセットは、いずれも学習に投入する総行数を419,840行に完全に固定している。

唯一異なるのは、そのデータ行を何回の対局から抽出したかという点である。

実験群（Treatment）では対局数を4倍に増やす代わり、各対局から抽出する局面数を約4分の1へと間引いている。

ニューラルネットワークに入力する行数とオプティマイザの更新ステップ数は一切増やしていない。ただし、教師データを生成するためにプレイさせる対局数は4倍となるため、データ生成フェーズの計算コストは増加する。

対照群（Control）
少ない対局から、全局面を深くサンプリング

実験群（Treatment）
多くの対局から、局面を薄く広くサンプリング

ネットワークアーキテクチャ、教師AI、オプティマイザ、バッチサイズ、8,000ステップの更新回数などの学習ハイパーパラメータは完全に共通化した。

さらに、モデルの初期値やデータ生成の乱数シードを変えた12組の独立した実験ペア（計24モデル）を訓練し、偶発的なばらつきを排除して比較検証を行った。

未知の対局における局面評価の汎化が大幅に改善

検証において最も重視したのは、学習にもチェックポイントの選定にも一切使用していない、4,096組の独立したテスト用対局における勝敗予測のブライアスコア（WDL Brier score）である。

ブライアスコアは、勝利・引き分け・敗北の予測確率と実際の結果との二乗誤差を評価する指標であり、値がゼロに近いほど高精度であることを示す。

実験群と対照群の差分は以下の通りとなった。

事前に採択基準として定めていた $-0.010$ 以下の改善幅を大幅にクリアした。12組の実験ペアすべてにおいて、例外なく実験群側が優れた点推定値を記録した。

さらに、学習データセットとテストデータセットの間で生じる勝敗予測誤差の乖離（過学習の度合い）も劇的に抑制された。

対照群（Control）   train → test divergence: 0.0744
実験群（Treatment） train → test divergence: 0.0194

単一の対局結果に何度も過剰適合してしまうという当初の懸念が、対局数の増加によって大幅に緩和されたことが確認できる。

方策の模倣精度も犠牲にならなかった

各対局から局面を間引いてサンプリングすると、連続的な手順の文脈が失われ、方策（policy）の学習に悪影響を与える懸念があった。

しかし、テストデータセットにおける方策のカルバック・ライブラー情報量（Policy KL）の差分は、実験群 − 対照群で -0.04271 だった。教師AIの模倣精度は損なわれるどころか、点推定値としてはむしろ実験群の方が良好な値を示した。

したがって今回の設定においては、局面評価の汎化改善と引き換えに方策の精度が低下するというトレードオフは一切観測されなかった。

実対局での勝率検証

オフラインの評価指標がどれほど改善したとしても、ゲームAIとして実際に強くなっていなければ意味がない。

そこで、12組の実験ペアそれぞれについて、実験群モデルと対照群モデルを同一のPUCT探索設定で直接対局（arena）させた。

12組の対局結果をまとめたペアスコアは以下の通りである。

実験群（Treatment） vs 対照群（Control）
ペアスコア（pair score） = 0.5560
片側95%信頼区間の下限 = 0.5408

スコア0.5が互角を意味するため、実験群が対照群を統計的に明確に上回る勝率を収めた。

本実験の事前採択条件（平均ペアスコア0.520以上、信頼区間下限0.5超えなど）をすべてクリアしたため、今後の教師ありブートストラップにおいては、「4倍の対局数から固定行数をまばらにサンプリングするレシピ」を正式な標準仕様として採用することを決定した。

「データ行数を増やす」より「独立したエピソードを増やす」

今回の実験群は、ニューラルネットワークの学習行数と更新ステップ数を一切増やすことなく、モデルの実力を大きく引き上げることに成功した。

変更前
7,350局から 419,840行を抽出

変更後
29,400局から 419,840行を抽出

見かけ上のデータ行数が同じであっても、教師信号の出底となるゲーム結果の多様性（エントロピー）には決定的な違いがある。

特にゲーム強化学習の文脈では、1エピソードの最終勝敗を途中の全局面に一律に配分するケースが多いため、単なる行数だけを見ていると、実際の教師信号が内包する多様性を過大評価してしまいがちである。

もちろん、今回の結果のみをもって「対局数を増やせば常に強くなり続ける」と無制限に一般化することはできない。対局数を増やすと1つの軌跡から取得する局面密度が下がるため、この2つの要因を完全に直交させて分離した因果分析ではない点、ならびに同一の教師AI・同一モデル・約42万行という特定の条件下での測定である点には留意が必要である。

それでも、少なくとも現在の Splendor AI の開発フェーズにおいては、「少数の対局から全局面を濃密に抽出する」よりも「多数の対局から局面を薄く広くサンプリングする」方が、同一の学習計算予算のもとでより優れたモデルを獲得できることが実証された。

今後のスケーリング戦略においては、単なるデータ行数にとどまらず、「独立した対局エピソードの総数」を極めて重要な独立パラメータとして扱っていく。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。