「カード補充を見てからトークンを返却する」情報価値をオフラインで測定した

Splendor では、カードを購入した直後に市場へ新たなカードが山札から補充される。その後、所持上限を超えたトークンの返却（token return）や、複数条件を同時に満たした際の貴族タイルの選択（noble choice）を行うルールになっている。この「補充された最新の情報を見てから事後処理を選べる」という後出しの自由度が、方策ネットワークにとってどれだけの情報価値を持つのかを、モデル表現を刷新する前にオフラインで測定した。

検証したのは、補充が発生する前に事後処理まで一括決定してしまう場合と、補充結果を確認した上で事後処理を選び直せる場合との期待値の差（VOI: Value of Information）である。

1イベントあたりの情報価値

自己対局世代Gen0からGen2にかけての13,824局（805,102意思決定）から、実際に事後選択が発生した1,319イベントを抽出して評価した。評価器には学習系統の異なるG3モデルとclean PUCT128を用い、意思決定の選択と価値評価を分離する交差検証（cross-fitting）を実施した。

測定値の片側95%信頼区間の下限（0.00288）があらかじめ定めた閾値（0.00250）を上回ったため、事後情報がもたらす1イベントあたりの価値は統計的に有意であると確認できた。

ただし、イベント種別ごとの内訳には大きな偏りがあった。

情報価値の大部分は、どのトークンを場に戻すかという判断（token return）から生じており、貴族タイルの選択における情報価値はごくわずかだった。

ゲーム全体で見ると影響はごく小さい

自然な対局ログにおいて、こうした事後選択イベントが発生する頻度は1ゲームあたり平均約0.2回にすぎない。実際の出現頻度（occupancy）を掛け合わせると、ゲーム全体での期待利得は約0.0007 score/game、勝率換算でもわずか約0.07ポイント/gameにとどまる。

探索回数を128回から512回へ4倍に増やしても、得られる情報価値の差はほとんど生じなかった。一方で、カード補充を見ずとも「事後選択そのものの精度を高める余地」は、補充後の情報価値と比べて約5.4倍も大きいことが判明した。

また情報価値の分布は少数の極端なイベントに集中しており、上位1%にあたる14イベントだけで総価値の18%を占めていた。この上位13イベントを除外すると片側下限値は0.00247まで低下するため、テール事象の解釈には慎重を期す必要がある。

段階的意思決定モデルを採用する根拠にはしない

本実験で測定したのは「情報を事前に知ることそのものの理論的価値」であり、手番を段階化（staged representation）した際の方策ネットワークの学習しやすさではない。通常の対戦環境におけるゲーム単位の獲得スコアは極めて小さく、以前の実験では着手の段階化に伴う表現学習コストが別途生じることも確認されていた。

今後アクションインターフェースの改修を検討する際は、補充後情報の利得と、表現形式の変更に伴う学習コストとを切り離して評価する方針とする。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。