意思決定を段階化して検証したら、カード補充後の追加判断は4096手中2回にとどまった

従来の EAT モデルでは、主着手（MAIN action）と、それに伴うトークン返却や貴族タイルの選択といった事後処理（cleanup）をひとまとめにした完全な候補手（complete candidate）を一度の推論で選択していた。しかし実際の Splendor では、カードの購入や予約に伴って市場に新しいカードが補充されるため、その補充された情報を見てから事後処理を選び直す余地がある。

そこで、手番の意思決定を「MAIN → 市場補充 → トークン返却（RETURN） → 貴族選択（NOBLE）」と段階化（staged）したインターフェースを実装し、本格的な学習に投入する前の Stage 0 として、実際の意思決定頻度や推論コストを検証した。

比較した3つのアクションインターフェース

F0 は着手空間の因数分解（factorization）のみを変更したものであり、F1 は補充後の最新情報も活用できる。F1 の推論用に5次元のコンテキスト情報（decision_context）を追加した結果、モデルのパラメータ数は888,324個から888,964個へと微増した。

候補手数は減ったが実行速度は向上せず

71対局から収集した4,096個のターン開始局面を用い、同一の完全な着手系列を実行する条件下でベンチマークを実施した。

候補手の総数は確かに減少したものの、CPU上でのバッチサイズ1による推論環境では盤面エンコーダの固定計算コストが大半を占めており、実際の壁時計時間（wall time）はほとんど変化しなかった。

補充後の情報が判断を分けたのは4096手中わずか2回

生成可能な候補手セットの上では、トークン上限超過が発生し得る局面が2.2%、複数の貴族タイルから選択可能な局面が2.3%存在していた。しかし、実際の対局ログにおいてそうした事後選択が必要となる局面が選ばれる頻度は極めて稀だった。

この Stage 0 の検証から、候補手の絞り込みによる推論高速化の効果は限定的であり、かつ通常の対局局面において補充後の状況変化が選択に影響を与える機会（post-refill recourse event）も極めて稀であることが判明した。

したがって、直ちにコストのかかる大規模な3条件比較の学習実験へ進むことは見送り、より強い方策同士の対戦環境でも同様にイベントが疎であるかを追加検証した上で、段階化表現そのものの学習効率（learnability）を別の独立した実験で評価する方針とした。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。