raw policy targetから8世代回したら、さらに+17pt伸びた

前回の実験では、U8モデルのMAIN policy targetからrootノイズに起因する訪問回数を差し引く補正を取りやめ、生の訪問回数（raw visit）分布をそのまま学習させる検証を行った。その結果、補正を行わないraw側の第3世代モデルは、補正を維持したcorrected側に対して勝率68.4%を記録し、元のU8に対しても70.0%の勝率を収めた。

今回は、その実験で高い勝率を示した個体をベースモデルとし、実際のproduction自己対局ループ（self-play loop）においてさらに8世代にわたり学習を継続した。

その結果、モデルの対局性能はさらに向上した。

8世代を経た最終モデルは、開始時点の親モデル（U8-raw-3）に対して勝率67.08%を記録した。前回のpolicy targetの変更で大幅な性能向上が確認された後も、同一のv8自己対局ループを通じてさらに約17ポイントの勝率差を積み上げる結果となった。

出発点とした親モデルと学習設定

今回の学習の起点には、前回実施した12 seedのpolicy target実験の中から、replicate 4の第3世代モデル（U8-raw-3）を採用した。

このモデルは単体ですでにU8を大きく上回る性能を持つ。本ループではここを出発点として、以下の標準設定に沿って世代ごとの自己対局と更新を進めた。

• 各世代512組の自己対局
• 各世代512ステップのオプティマイザ更新
• 最大3世代分のリプレイバッファ保持
• sml-puct-v8探索アルゴリズム
• MAIN手番における128シミュレーションの探索
• CLEANUP手番における各候補手128回の訪問
• 世代間でのAdamWオプティマイザ状態の引き継ぎ

v8設定では、MAIN手番の学習用targetとしてraw visit分布を記録する一方、対局中の着手選択とroot局面の価値評価にはノイズ補正後のカウント（effective counts）を用いる。この役割分担は、前回の実験で大幅な勝率向上をもたらした構成をそのまま引き継いだものである。

8世代後の最終モデルが親モデルに対し勝率67.08%を記録

最終評価として、第8世代（generation 8）のモデルと開始時点の親モデル（U8-raw-3）を、先手後手を入れ替えた1,600組（計3,200局）の対局で直接比較した。

第8世代のモデルは、親モデルに対して有意な優位を示した。

世代ごとの推移を追跡した評価でも、親モデルに対する勝率は一貫して上昇傾向を維持した。学習の早期停止条件やアンカー基準による棄却判定（anchor veto）が作動することはなく、評価判定も一貫してループ継続（continue_v8_loop）となった。

特筆すべき点は、前回のraw target導入による大幅な改善が、単発の一過性な効果にとどまらなかった点である。

仮にpolicy targetの変更が特定の局面における弱点を突いただけの局所的な変化であったなら、世代を重ねた自己対局によってアドバンテージは速やかに消失したはずである。しかし実際には、同一の学習系統の中で8世代にわたり着実な性能向上が蓄積された。

過去モデルに対する勝率も82.4%まで伸長

固定の対戦相手を用いたアンカー評価においても、学習開始時と第8世代の間で明確な伸びが確認された。

基準となるU8モデルに対する勝率は、開始時点の66.4%から82.4%へと上昇した。

また、初期の有力モデルであるoriginal EAT G12に対する勝率も、79.7%から87.7%へと向上している。EATは単一のアクション空間を採用していた旧世代モデルであり、現在のU系統とは行動定義や探索パラメータが異なるため、計算資源を揃えた厳密な比較ではない。それでも、過去の強固なベンチマークに対しても世代を重ねるごとに実力差を広げられていることが確認できる。

なお、ルールベースAIを相手取った評価では、reserve-anchorに対して99.6%、denial-rushに対して99.2%と勝率がほぼ上限に達しており、モデル間の微小な優劣を測るベンチマークとしてはすでに識別力を欠く水準となっている。

policy priorのエントロピー発散は抑制された

raw policy targetを導入する際の主な懸念事項は、root局面の探索ノイズに由来する訪問回数まで学習目標に含めることで、世代を経るごとにpolicy priorが過度に平坦化（高エントロピー化）してしまうリスクであった。

前回の実験においてraw側のpriorエントロピーはcorrected側を上回っており、この適度な広がりがPUCT-128探索において候補手の探索範囲を広げる要因になっていると推測されていた。

しかし、世代交代とともにエントロピーが際限なく増大し続ければ、いずれpolicy headは有力な候補手を絞り込めなくなる恐れがある。

固定局面セットを用いて測定した結果、開始時点のU8-raw-3におけるpriorエントロピーは1.71 natsであったのに対し、8世代後は1.67 natsとなり、全期間を通じて開始値から0.07 nats以内の安定した範囲にとどまった。

ノイズ由来の訪問シェアも51〜54%前後、フォールバック率も最大0.54%で安定して推移した。また、学習用対局において最大手数（ply cap）に到達したケースは皆無であった。

したがって、今回の8世代のループにおいて、raw targetの採用がpolicyの無秩序な平坦化を引き起こす兆候は見られなかった。

旧世代リプレイを引き継がず、v8単独のリプレイバッファを構築

今回のproductionループでは、旧世代（sml-puct-v7）の自己対局データをv8仕様へ変換して引き継ぐ移行措置（migration）は採用しなかった。

第0世代ではU8-raw-3をもとにv8で1世代分の新規データを生成し、次世代で2世代分、第2世代以降で上限である3世代分を保持する1→2→3のリプレイランプアップを採用した。

初めの世代では利用可能なリプレイデータ量が通常より少なくなる懸念があったものの、v7とv8ではpolicy targetの設計意図自体が根本的に異なる。

過去のノイズ補正済みtargetと新しいraw targetを同一のリプレイウィンドウ内で混在させるリスクを避け、v8の基準のみでクリーンに学習履歴を構築する判断を下した。

結果として、第0世代はこの単一ソースのリプレイ条件下でもモニタリング判定において改善（improved）を記録した。その後も停止条件に抵触することなく、8世代すべての学習を安定して完了した。

単発の改善にとどまらず、継続的な自己対局ループとして成立

前回の実験で実証されたのは、「同一のU8から学習を進める場合、ノイズ補正済みtargetよりも生のMAIN targetを採用した方が強い」という点であった。

今回の実験成果は、この知見をさらに前進させた。

raw targetにより強化されたモデルを起点とし、自己対局によるフィードバックループを複数世代にわたって継続した場合でも、対局性能の向上が維持されることが確認された。

最終モデルは起点となった親モデルに勝率67.08%で勝利し、U8に対する勝率も82.4%に達した。少なくともこのU8-raw系列においては、policy targetの見直しが単発のモデル再学習による局所的な改善にとどまらず、継続的な自己対局学習の基盤として十分に機能することが示された。

もっとも、本検証は現時点で単一の学習系統における結果である。起点としたモデルも前回の実験結果から後追いで選定したreplicate 4であり、異なる系列においても同様の成長率が再現されるかは今後の検証課題となる。また、性能向上をもたらした具体的な要因の特定も完了していない。

それでも、U8近辺で停滞傾向にあった自己対局学習が、policy targetの改定によって再び8世代にわたり着実な成長を示したことは、今後のモデル強化に向けた重要な前進である。

この記事は、実装・実験記録をもとに、本文の編集を主にLLMが行い、筆者が内容を確認・修正しています。