探索を使わないPPO自己対局でモデル強化に成功した

Splendor AIでは、局面評価を担うPolicy/Value Networkの教師データを自己対局中のPUCT探索から生成してきた。しかし1手ごとに探索を重ねる自己対局は計算負荷が大きい。1世代（1,024局）に約2時間を要するPUCTに対し、探索を省いたサンプリング対局は秒間約120倍の対局数を進められる。1手ごとの探索分布に頼らず、終局勝敗とTD(λ)によるアドバンテージ推定からPPO（Proximal Policy Optimization）で直接学ばせることができれば、学習効率を大きく高められると考えた。

未経験行動のコールドスタート問題

探索なしPPOを始めるにあたり、最初に対処が必要だったのは出現頻度が極めて低い着手だった。起点となる初期モデルn5_s1は山札から非公開で予約する「blind reserve」も選べるが、priorは約$4\times10^{-7}$にとどまる。PUCT探索ではノイズで試されていた手も、探索を外したサンプリングでは3,072局で1度も選ばれず、報酬シグナルが届かない。

行動選択（behavior policy）に3%のfamily floorを導入した。購入手に偏らないよう着手種別を均等に選び、その中から候補手を選択する。残り97%はPolicyに従う。これで2,048局あたり約600回のblind reserveが現れるようになった。

ただし、行動を試すだけではPolicyは学習しない。PPOの重要度比において元の確率が極小のままではクリップ下限を下回り、負のアドバンテージに対する勾配が消失する。また逆KL正則化ではロジット勾配が確率ゼロ近傍で働かない。そこで参照Policyと探索分布を合成した分布（$\rho = 0.97 \pi_{\text{ref}} + 0.03 q$）への前向きKL正則化を採用した。ロジット勾配が$\pi - \rho$となるため、未経験の手であってもPolicy側の確率を能動的に引き上げられる。

100反復の資格試験とドメイン誘導の比較

この枠組みをもとに、1反復あたり2,048局、計100反復（204,800局）のPPO自己対局を実施した。

あわせて、blind reserveを試す方法として一様型と誘導型を比較した。一様型は着手候補を均等に選び、誘導型はトークンや予約枠、点数差、未公開カードの期待購入コストなどの盤面情報からTier 1予約へ配分を寄せる。探索枠3%やPPOの更新条件は両群で共通とし、各群2系統（計4系統）を学習させた。最終モデルの評価には、探索枠を外したPUCT-128（1手128回探索）を用いている。

観測結果の解釈と得られた示唆

探索を行わないPPO自己対局によって、モデルは明確に強化された。両群とも初期モデルだけでなく、48世代にわたりPUCT探索で自己対局を重ねたB48に対しても勝ち越した。さらに32世代のPUCTモデル群に対しても約55%の勝率を記録した。計算時間はPUCT 32世代（約2.0〜2.3時間）の半分以下となる約52分に収まる。終局勝敗のみによるPPOが、実用的な学習ループとして成立することを確認できた。

モデルの着手傾向を調べると、PPOモデルは初期モデルの堅実なスタイルを保ち、カード購入数や貴族の獲得を重視したまま勝率を伸ばしていた。PUCTモデル群がblind reserveを1局あたり2回以上も選ぶようになったのに対し、PPOモデルは0.4〜0.5回程度にとどまる。blind reserveを過剰に使わずとも十分な強度を獲得できた。

一方、ドメイン知識による探索誘導に優位性は見られなかった。誘導型は狙いどおりTier 1へ予約を集中させたものの、対局強度では一様型に対して48.8%にとどまった。そもそもblind reserveは、このまま進むと負ける可能性が高い局面で、一発逆転を狙って賭ける手としての性格が強い。購入のしやすさだけを見てTier 1へ予約を集中させたのは、過剰な誘導だったと考えられる。すでに確保したボーナスを活かし、Tier 3の高名声点（prestige）を引いて一気に逆転する将来価値を、誘導設計が見逃していた可能性がある。一様探索がTier 2やTier 3も広く試したことで、実戦的な逆転の選択肢が残されたと理解できる。

細かな局面判断を探索側に組み込まずとも、一様なfloorで試行機会を確保する単純な設計で十分だと分かった。探索なしPPOによるモデル強化の見通しが立ったため、本番の学習候補として資格試験を通過（GO判定）とした。次は計算予算を揃えた条件で、従来のPUCT学習ループとの直接比較を進める。

この記事は、実装・実験記録をもとに、主にLLMが編集しています。