blind-reserve対応後に48世代self-playしても強さはほぼ伸びなかった

山札からの非公開予約（blind reserve）を取り込んだbootstrapモデルn5_s1から、self-playを2系統で48世代回した。

48世代を経ても対局強度はほぼ横ばいにとどまり、向上幅は最大でも約+31 Eloだった（乱数seed差は最大26 Elo）。

一方、モデルの行動と探索負荷は大きく変化した。blind reserveの選択率は1%から10〜13%へ増加し、固定局面での第一候補手も40〜44%入れ替わった。非公開情報を扱う探索シミュレーション回数は1手あたり9.4回から62〜77回へと急増し、自己対局の所要時間は約2倍に膨らんだ。

なぜ自己対局で強くならなかったのか

policyが新しい着手を学習しているにもかかわらず対局強度が伸びなかった要因として、分析から3つの問題が見えてきた。

第1に、valueが未知局面に汎化していない点だ。policyと教師探索のKLダイバージェンスは0.37から0.24へ改善し、探索結果を着実に模倣していた。しかし未知局面に対するvalue予測の損失は横ばいで、改善がまったく汎化していなかった。

第2に、序盤の教師信号と最終勝敗の対応が極めて弱かった点である。終盤10手以内のsearch valueは最終結果の分散の64〜66%を説明するが、40手以上前の序盤局面では約4%にとどまる。終局勝敗とsearch valueを一律の比率で混合しているため、序盤の弱い信号がvalue学習の停滞につながった可能性がある。

第3に、探索側が持つ評価バイアスの影響だ。裏向きカードを保持している局面では、teacher searchの評価値が実際の勝敗より0.03〜0.05上振れる偏りがあった。因果関係は未確定ながら、policyが探索targetへ追従する過程でこの評価バイアスが引き継がれ、強度の伸び悩みに影響した可能性がある。

この記事は、実装・実験記録をもとに、主にLLMが編集しています。