終盤だけ探索を深くすると、まだ大きな取りこぼしが見つかった

v8の自己対局ループを8世代進め、現行で最も高い対局性能を持つモデル系統「F」を対象に、終盤局面における探索の十分性を検証した。

Fは、生の訪問回数（raw visit）分布をMAINの学習targetに採用したU系統を起点とし、自己対局を重ねた第7世代（generation 7）のモデルである。通常の対局では128シミュレーション（PUCT-128）で着手を決定している。この探索回数でも十分な強さを示すものの、終盤の重要局面をより深く探索すれば、改善可能な判断が残されている可能性がある。

本番設定を変更する前の予備検証として、記録済みのFの対局ログを用い、128シミュレーションと2,048シミュレーションで同一局面の探索結果を比較した。

その結果、終盤では約27%の局面で選択が変化した。また、探索を深めるべき局面の特定においては、「相手が勝利目前である」といった盤面状況に基づく素朴なルールよりも、探索木内部の訪問回数と行動価値（Q値）の食い違いを捉える方が有効であることが判明した。

300局から終盤のroot局面を再探索

F同士の自己対局300局から、36手目（ply 36）以降のすべてのMAIN手番root局面6,190件と、それ以前の局面の15%を抽出した。それぞれの局面に対し、128シミュレーションおよび2,048シミュレーションで再度探索を行い、選択される着手に変化が生じるかを検証した。

まず実験環境の再現性を確認したところ、128シミュレーションによる再探索は100件中100件で元の対局における着手と訪問回数を完全に再現した。後続局面の対局継続（continuation）においても、60件中60件で元対局と同一の結果が得られた。

その上で、40手目以降において2,048シミュレーションで着手が変化した局面から250件を無作為抽出し、128時点の手と2,048時点の手をそれぞれ共通乱数（common random numbers）を用いた対局継続によって各64回評価した。

終盤局面の27%で着手が変化

36手目以降では、探索回数を2,048シミュレーションに拡大したことで27%の局面で着手の選択が変更された。

もっとも、同一の探索回数であっても乱数シードを変更するだけで約11%は着手が変化する。したがって変更された27%のすべてが探索深化による判断の修正とは言えず、11%程度は探索ノイズの基準値（ノイズフロア）として差し引いて考える必要がある。

それでも、深い探索によって変更された手を対局継続で評価したところ、明確な改善が確認された。

深い探索により変更された着手は、元の128シミュレーションの手に対して平均+5.2ポイント［95%信頼区間: +3.1〜+7.4pt］の勝率向上を示した。

この改善効果は40手目から56手目までの各手数帯で一貫して確認された。手数が56を超えると、探索を深めても着手が変化する割合自体が14%まで低下した。

この結果はFが終盤全般で劣っていることを示すものではなく、探索深化によって手が変化した局面に限った条件付きの評価である。それでも、通常の128シミュレーションでは取りこぼしている有効な着手が確実に存在することが示された。

「相手が15点圏内」は有効な指標とならなかった

重点的に探索を深めるべき局面の指標として、当初は相手が数手以内に15点に達しそうな局面（reach状態）を想定していた。宝石の煌き（Splendor）では終盤の手番テンポが極めて重要であり、相手が王手をかけた局面で探索リソースを集中的に投入するアプローチは自然に思える。

しかし実際の検証では、この盤面条件は有効に機能しなかった。

相手がreach状態にある局面で2,048シミュレーションにより着手が変化した割合は9.6%にとどまり、それ以外の局面における29%を大きく下回った。さらにreach状態の局面は終盤全体の13%を占める一方で、深い探索によって得られた改善効果全体のうち3.6%しか寄与していなかった。

少なくともFモデルにおいては、「相手が勝ちそうだから深く読む」という素朴な盤面ルールは、探索リソースを重点配分するトリガーとして不十分であることが分かった。

訪問回数とQ値が食い違う局面に改善効果の78%が集中

一方、探索を深めるべきシグナルとして極めて高い有用性を示したのが、訪問回数と価値評価の不一致（visit–value disagreement）であった。

128シミュレーション完了時点で、「最多訪問の手（visit leader）」と「一定以上の訪問を受けた候補の中で最高Q値を持つ手」が一致しない局面をUNSTと定義した。

このUNST局面は終盤全体の28%に過ぎなかったものの、深い探索によって得られた改善効果全体の78%がここに集中していた。

すなわち、128シミュレーションを終えた段階で「探索回数としては候補Aを支持しているが、評価値としては候補Bを支持している」という内部矛盾が残る局面ほど、そのまま探索を継続する価値が高い。

これは、ゲーム盤面の外部ルールに頼るよりも、探索アルゴリズム自身が示す不確実性のシグナルを活用する方が、探索リソースの配分指標として格段に優れていることを意味する。

128時点の最高Q値を直接採用する手法は機能せず

ここで、追加のシミュレーションを行わずに、128シミュレーション時点で最高Q値を持つ手をそのまま採用すれば計算コストを抑えられるのではないかという代替案も考えられる。

しかし、この方法は機能しなかった。

UNST局面において、128時点の最高Q値の手が2,048探索後の選択と一致した割合は19%にすぎなかった。訪問回数とQ値の不一致は「現在の探索量では判断が定まっていない」というシグナルにはなるものの、その時点のQ値自体を着手の根拠として採用できるほど安定してはいない。確実な改善を得るには、やはり追加のシミュレーションが必要であることが確認された。

事前確率2%未満の手を拾い上げた際の改善が最大

深い探索によって選び直された着手の事前確率（policy prior）にも顕著な傾向が見られた。

2,048シミュレーションで選ばれた着手が、ニューラルネットワークのpolicyから2%未満の事前確率しか与えられていなかったケースでは、平均改善が+12.3ポイントに達した。ネットワークが初期段階でほとんど有力候補とみなしていない手であっても、十分な探索を重ねることで最善手へと浮上する場合がある。

過去の実験でMAINの学習targetを生の訪問回数に変更した際、事前確率を過度に尖らせない分布の方がPUCT-128で高い勝率を示した。今回の結果も、有限の探索回数では事前確率の低い良手を十分に掘り下げられないケースが残されていることと整合している。

終盤の探索余地と重要局面の特定

今回の予備検証を通じて、現行のFモデルにおいても終盤に探索不足による着手の取りこぼしが残されていることが確認された。

そして何より、探索を深めるべき重要局面を特定する上では、盤面状況に基づく素朴なルールよりも、探索木内部の訪問回数と評価値の不一致（UNST）に着目する方がはるかに有効であることが明らかになった。特にネットワークの事前確率が低いにもかかわらず価値評価が高い手は、探索を継続することで大きな勝率改善をもたらす。

探索アルゴリズム自身が抱える判断の揺らぎを検知し、そこに計算リソースを集中させるアプローチの有効性が、具体的な数値として裏付けられた。

この記事は、実装・実験記録をもとに、本文の編集を主にLLMが行い、筆者が内容を確認・修正しています。