有望な手の取りこぼしは、探索漏れではなく初期の浅い評価に起因していた

終盤でPUCT探索を128回から2,048回へ増やすと約27%の局面で着手が変わる。その多くはUNSTで検出できるが、探索回数自体が極端に少ないcoverage failureはすり抜けてしまう。

2,048回で最善手として選ばれ直したものの、128回時点の訪問が4回未満だった396件を調べた。

1〜3回の初期訪問における過小評価

これらの有望手は未探索ではなく、9割以上が初期訪問を受けていた。探索木から外れたのではなく、初期の浅い評価で探索が打ち切られていた。

着手	128回時点のQ値	2,048回探索後の変化
救出された手（初期1〜3回訪問）	最多訪問手より平均0.140低い	平均+0.157上昇（最善手へ）
当初の最多訪問手	基準	平均0.095低下

初期訪問を受けた手の86%で128回時点のQ値が低く見積もられており、浅い探索の下振れによってPUCTの割り当てから脱落していた。

学習targetを生の訪問回数へ切り替えても、救出された手のpolicy priorは数%で頭打ちとなった。

本番ノイズを入れた128回再探索でも生targetは平均3.8%にとどまり、policy priorとの差は+0.1pt［−0.6〜+0.8pt］と横ばいだった。

policy priorが低い（数%）
      ↓
初期訪問が少ない（1〜3回）
      ↓
浅い評価の下振れで過小評価される
      ↓
PUCTの配分から外れ、探索が打ち切られる
      ↓
訪問が伸びず、次世代の学習targetも数%で停滞

1〜3回の浅い訪問では手番価値のばらつきが大きく、初期の低評価によって追加探索から外れる。さらに自己対局の訪問頻度を学習targetとするため、深く掘られなかった手は次世代でも低確率のまま据え置かれ、再び浅い評価で切り捨てられる悪循環に陥る。

有望手を取りこぼす要因は探索漏れではなく、この初期評価の罠だった。

この記事は、実装・実験記録をもとに、本文の編集を主にLLMが行い、筆者が内容を確認・修正しています。