ルールベース教師を用いたEntity-Action Transformerの初期学習

自己対局による強化学習ループの初期モデル（ブートストラップ）として用いるため、パラメータ数888,324の EAT アーキテクチャに対し、深さ3の探索を行うルールベース教師AIのソフト方策および最終勝敗結果（WDL）を用いた教師あり学習を実施した。

データセット構成と学習設定

テストデータセットはチェックポイント選定には一切使用せず、学習完了後に汎化性能を検証する目的で1回のみ評価した。

未知データ（holdout）でも安定した汎化を維持

局面評価（value）の予測精度は、局面情報を参照せず出現頻度のみを出力するベースライン（class-frequency baseline）を明確に上回った。

勝敗予測のキャリブレーション誤差も最大で約0.03に収まっていた。

ゲーム序盤の局面評価には課題が残る

対局の進行度合い（手数帯）ごとに精度を分解したところ、明確な性能差が確認された。

序盤局面における価値予測のブライアスコアは、同手数帯における頻度ベースライン（0.5060）と大差がなかった。これについては、ゲーム序盤は勝敗を決定づける確定情報が本質的に乏しいことと、モデルが微弱なシグナルを捉えきれていないことの双方が考えられる。

検証データにおける結合損失（joint loss）は、第1エポックの1.6410から第8エポックの1.4491まで一貫して減少し続けたため、最終チェックポイントを採用した。より多くの学習ステップを割り振る余地も残されている。

今回の実験では、初期モデルとして方策と局面評価を同時に学習可能であることの確認にとどまっており、実対局（arena）における強さはまだ測定していない。次の段階として、このチェックポイントにPUCT探索を組み合わせ、方策単体よりも優れた着手判断を生成できるかを検証していく。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。