エンティティ表現の構造化を試みたが、対局性能の改善には結びつかなかった
Entity-Action Transformer（EAT）のエンティティエンコーダでは、カードの種別や役割・配置場所といったカテゴリカルなメタデータと、コストや勝利点といった数値を同一のMLPに入力していた。これらを意味のまとまりごとに分離・構造化（factorize）することで、学習効率を高められないか比較検証した。
3種類のエンコーダ構成
検証したアーキテクチャは次の3通りである。
| arm | 構成 | パラメータ数 |
|---|---|---|
| B | 62次元の特徴量を共有の2層MLPへ入力（ベースライン） | 888,324 |
| F | 数値用MLPに、種別・役割・配置・レベルの各埋め込みベクトルを結合 | 888,836 |
| FT | Fの構成に加え、エンティティ種別ごとに初期の数値射影層を分離 | 890,116 |
ネットワークに入力する情報量そのものは同一であり、構造上の帰納バイアス（inductive bias）のみを変化させている。各構成について乱数シード3種類を用意し、共通の学習キャッシュを用いて同一の16エポック予算で学習を進めた。
オフライン損失は改善した
検証データセットにおける方策と勝敗の結合クロスエントロピー損失（validation joint CE）は以下の通りとなった。
| encoder | validation joint CE |
|---|---|
| B | 1.39085 |
| F | 1.38168 |
| FT | 1.37606 |
平均値で見ると FT < F < B の順で損失が低く、構造化を進めたモデルほどオフライン指標は良好だった。ただし、ベースラインB自体のシード間ばらつきが約0.0275 nats存在しており、構成間の平均差を上回る規模だった点には留意が必要である。
さらに、構造を細分化したエンコーダは推論速度のオーバーヘッドを伴うことが判明した。
| encoder | 128回探索時の実行時間差 | 同一時間予算でのシミュレーション回数 |
|---|---|---|
| F | +5.3% | 121 simulations |
| FT | +11.9% | 114 simulations |
実対局では優位性が消失した
ベースラインBを相手にしたarena対戦を実施した。同一の制限時間で戦わせた場合と、同一の128回シミュレーションで戦わせた場合のペアスコアは次の通りである。
| encoder | matched-time score vs B | equal-128 score vs B |
|---|---|---|
| F | 0.4958 | 0.5049 |
| FT | 0.4661 | 0.4808 |
スコア0.5が互角を意味するため、検証損失で優れていた順位が、実対局での勝率には反映されなかったことになる。探索なしの方策ネットワーク単体による着手比較でも同様の傾向だった。
今回の教師データ分布は必ずしも最適解の方策ではない。そのため、教師データの模倣損失をわずかに下げることと、実際の対局でより勝ちにつながる手を選べることとは直結しない。
この結果を受け、エンコーダの構造化は不採用とし、ベースラインのシンプルなエンコーダを維持することとした。モデルアーキテクチャの変更においては、単体のオフライン損失だけでなく、推論コストを含めた最終的な対局判断の質まで総合的に見極める必要がある。
この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。