探索評価値をvalue targetに反映させて学習したら、G11で+10.9pt勝ち越した
前回の再学習実験では、局面評価の損失係数（value loss weight）を1.0から0.25へ下げることで対局勝率が+10.4ポイント改善した。原因を調べると、同一対局内の全局面に一律で付与される終局勝敗ラベルを、value予測ヘッドが丸暗記していたことが成長停滞の主な要因だった。
発展途上のモデル同士による自己対局では、特に序盤から中盤の勝敗結果に大きなばらつきが生じる。そこで今回は、木探索（PUCT 128 simulations）で得られるルートノードの評価値を教師信号に混ぜることで学習効率が向上するか、また継続ループにどの設定を採用すべきかを検証した。
G10からG11への転移実験（Stage 1）
親世代であるG10の3つの学習系統から、それぞれ6組の新規自己対局データを収集した（計18ユニット）。各ユニットのデータを用い、同一の512ステップ更新（CUDA bf16）で5つの学習設定を比較した。
| arm | value loss weight | 探索評価値の混合比率 | 役割 |
|---|---|---|---|
| c | 1.00 | なし（終局結果のみ） | 旧来の標準設定 |
| v | 0.25 | なし（終局結果のみ） | 前回の勝者、今回の基準線 |
| vx | 0.25 | 0.50 | 探索ターゲットの標準設定 |
| cx | 1.00 | 0.50 | 損失係数とターゲットの交互作用検証 |
| vh | 0.25 | 0.75 | 探索ターゲットの比率を引き上げた設定 |
混合ターゲットは、終局勝敗ラベルと探索ルート評価値を線形結合して算出した。評価対戦では、3つの親G10モデル（リーグ対戦パート）および2つのルールベースAI（point rush、reserve anchor）と対戦させた（計450セル、57,600局）。
探索評価値の併用が+10.9ポイントの大差で勝利
基準線であるvと各条件の差分（複合スコア）は以下の結果となった。
| 比較 | 推定差分 | 固定ネットワーク95%信頼区間 | 試行間分散を含む95%信頼区間 |
|---|---|---|---|
| v − c | +4.72 pt | [+3.71, +5.73] | [+3.34, +6.10] |
| vx − v | +8.41 pt | [+7.45, +9.37] | [+6.93, +9.89] |
| cx − v | +7.73 pt | [+6.75, +8.71] | [+6.34, +9.12] |
| vh − v | +10.90 pt | [+9.98, +11.82] | [+9.51, +12.29] |
| vh − c | +15.62 pt | [+14.70, +16.55] | [+14.50, +16.74] |
| vh − vx（用量効果） | +2.49 pt | [+1.68, +3.30] | [+1.77, +3.20] |
探索評価値を混ぜた3つの設定はいずれも、終局結果のみを用いた設定を大きく上回った。基準線のvはcに対して+4.72ポイント勝ち越し、新規データでも係数0.25の有効性を確認できた。
さらに探索評価値を混ぜた条件はvを圧倒した。混合比率0.50のvxが+8.41ポイント、比率を0.75へ高めたvhは+10.90ポイント（旧来のcに対しては+15.62ポイント）の勝ち越しを記録した。vhはvxに対しても+2.49ポイント上回り、比率を引き上げる用量効果も有意に確認できた。
また、探索評価値を混ぜると損失係数1.00と0.25の差が-0.68ポイントまで縮まった。探索評価値の混合が、過剰な重み付けによる過学習を強力に打ち消す働きを持っていることが裏付けられた。この結果を受け、最良候補としてvhを選出した。
自前データによるフィードバック検証（Stage 2）
探索評価値を混ぜて学習したモデルが次世代の対局データを自ら収集したとき、自己蒸留の累積によって性能崩壊を起こさないかを検証した。vhとvのそれぞれでG11モデル自身が生成した自己対局データ（G12）を収集し、再学習を行った。
G12においてもvhはvに対して+10.07ポイント（95%信頼区間 [+9.27, +10.86]）の勝ち越しを記録した。内訳はリーグ対戦パートで+17.59ポイント、ルール対戦パートで+2.54ポイントであり、全18ユニットすべてで勝ち越した。懸念された性能崩壊や順位逆転は発生せず、親G10に対する実力差を保ったまま世代を更新できた。
オフライン指標による分析と今後の採用方針
訓練データと未知データに対する局面評価の二乗誤差（MSE）を比較したところ、学習挙動の違いが鮮明に現れた。
| モデル | 訓練データMSE | 未知データMSE | 差分（過学習度合い） | 未知データの予測傾き |
|---|---|---|---|---|
| c（重み1.00、終局のみ） | 0.538 | 0.940 | 0.402 | 0.56 |
| v（重み0.25、終局のみ） | 0.675 | 0.871 | 0.196 | 0.68 |
| vh（重み0.25、混合0.75） | 0.769 | 0.789 | 0.020 | 0.92 |
終局結果のみを学習したモデルは訓練データと未知データの間でMSEに大きな開きが生じ、予測の傾きも過度に自信過剰（0.56〜0.68）となっていた。これに対してvhは両データの差がわずか0.020まで縮小し、暗記が大幅に抑制された。予測の傾きもG11で0.92、G12で0.97と理想的な1.0に近い良好な較正状態を示した。
以上の結果に基づき、今後の自己対局ループにはvalue loss weight 0.25、探索評価値の混合比率0.75（vh）を正式採用した。
なお、ルールベースAIとの対局局面（分布外局面）においては、相手が次手で15点に到達する即時脅威（ready threat）局面で素の評価値が過大評価となるバイアスは、自己対局データのみでは解消しなかった。この課題については、ルールベースAIが生成した局面を取り込む次回のカバレッジ実験へ引き継ぐ。
この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。