PPOの目的関数を直したら、探索付きの勝率が8ポイント落ちた
探索なしのPPO自己対局でSplendor AIは強くなった。しかし目的関数を見直すと、勝敗と無関係に稀な手を押し上げる仕組みがあった。山札から非公開でカードを予約する「blind reserve」の学習も、この力に支えられていたのではないか。
自己対局では3%の探索用分布を混ぜて着手する。従来のPPOは更新後のPolicyを着手分布で割った比をclipし、稀な手には負のアドバンテージが届かず、正の側だけが働いた。32反復ごとに更新する参照分布へのKL正則化も、Policyを探索用分布へ繰り返し寄せていた。
比をPolicy自身の更新前後の比に直し、正則化は探索下限を満たさない候補を補う形に変更。初期モデルn5_s1から同じseed・対局局面で2系統、各100反復を比較した。
| 対局スコア（修正−従来） | 従来 | 修正 | 差 |
|---|---|---|---|
探索なし vs n5_s1 | 56.5% | 53.8% | −2.6pt |
PUCT-128 vs n5_s1 | 57.4% | 49.2% | −8.1pt |
| PUCT-128 vs 48世代学習モデル | 55.1% | 49.1% | −6.0pt |
各行は1,024組の先後交換対局。主要な8.1pt差の95%区間は−9.9〜−6.4pt。探索時の低下が際立つ。
| 100反復後の指標 | 従来 | 修正 |
|---|---|---|
| MAIN Policy entropy | 1.15〜1.18 | 0.48〜0.49 |
| KL制限による更新停止（98回中） | 4〜12回 | 60〜63回 |
| blind prior（固定2,000局面） | 0.044〜0.050 | 0.0022 |
修正モデルのPolicyだけを温度で平坦化し、Valueと候補順位を変えず同じ512開始局面で再評価すると、探索スコアは3.0pt回復した。事前分布の尖りがPUCTの探索を狭めた可能性がある。ただし従来との差はなお5.4pt。2か所を同時に直したため、次はclipと正則化を個別に切り分けたい。
この記事は、実装・実験記録をもとに、主にLLMが編集しています。