128回探索の安定性を検証したら、同一局面でも22.5%で最善手が変わった

Splendor は宝石トークンを集めてカードを購入し、得られたカードの恒久割引を活かして勝利点を伸ばしていくボードゲームである。AIは各局面において、次の一手を選ぶための方策（policy）と、その局面からの勝率を見積もる局面評価（value）を同時に予測する。

自己対局パイプラインでは、その予測値をPUCT探索エンジンに入力してシミュレーションを展開し、各合法手が最終的に何回訪問されたかという分布（訪問回数分布）を次世代の方策の教師信号として記録している。

これまで標準設定として採用していたのは、1手あたり128回のシミュレーションを行う探索だった。生成された方策ターゲットにおける最多訪問手の平均確率質量（top-one mass）は0.7024に達し、全体の41.7%の局面では最大確率が0.99以上を示していたため、一見すると「極めて明確で信頼性の高い教師信号が得られている」かのように見えていた。

しかし今回は、同一の局面に対して異なる乱数シードを用いて何度も探索を再実行することで、この前提の妥当性を直接検証した。

結論から述べると、分布が鋭く尖っている（エントロピーが低い）ことは、探索結果が安定して収束していることの証明にはならなかった。

同一の512局面を異なるシードで繰り返し探索する

通常の自己対局において、同一の局面に対して独立に複数回の探索を繰り返すことはない。そのため、ログとして保存されたターゲット分布が真に安定した結果なのか、あるいはそのシードにおいて偶然生じた偏りに過ぎないのかを区別することができなかった。

そこで自己対局コーパスから512個の局面を抽出し、モデルの重みを固定したまま、乱数シードを変えて繰り返し探索を行うプローブ検証環境を構築した。

比較した実験条件は以下の通りである。

合計で約943万回ものシミュレーションを実行した。

なお、4,096回シミュレーションの結果を「絶対的な正解」とみなしているわけではない。すべて同一のモデルと同一のPUCTアルゴリズムを用いているため、本実験で測定しているのは、「同一の評価器のもとでより深く探索した高予算側の結果に対し、低予算側の探索がどの程度乖離しているか」という相対的な安定性である。

128回探索は自分自身と22.5%の局面で食い違った

本番環境と同一の「128回シミュレーション ＋ ルートノイズあり」の条件を異なるシードで実行したところ、全く同じ設定同士であるにもかかわらず、全体の22.5%の局面において最多訪問手（1位の手）が一致しなかった。

同一の局面
同一のモデル
同一の探索パラメータ
異なるのは探索の乱数シードのみ

→ 22.5%の局面で1位の手が反転・変化する

さらに、基準となる4,096回探索の結果と比較すると、128回探索側の1位の手が異なる局面は全体の39.1%に達していた。

一方で、本プローブ実験における最多訪問手の平均確率質量は0.7132であり、従来の0.7024とほぼ完全に一致していた。

すなわち、「探索ターゲットが特定の手へ鋭く尖る」という現象自体は確かに再現されたものの、その尖った先の手番判断そのものがシードの乱数に大きく揺さぶられていたのである。

ノイズを除去しても128回探索では収束しきらない

自己対局環境では探索の幅を広げる目的で、ルートノードの方策事前確率にディリクレノイズ（Dirichlet noise）を付加している。

そこでルートノイズを完全に除去し、シミュレーション予算のみを純粋に増加させた場合、4,096回探索の基準結果と1位の手が食い違う割合（不一致率）は以下のように推移した。

探索予算を増やすにつれて不一致率は着実に減少しているものの、2,048回探索の段階に至っても依然として12.9%の食い違いが残存していた。

少なくとも現在のモデルと局面分布において、128回探索という規模は、より深い探索と同じ着手判断へと安定して収束した状態とは言えなかった。

ルートノイズがもたらすばらつきの大きさ

同一の128回探索において比較すると、ルートノイズを付与した場合のターゲット分布のばらつき（dispersion）は、ノイズなしの場合と比べて9.43倍に膨らんでいた。

高予算の参照基準との1位不一致率についても、ルートノイズの存在によって11.7ポイント増加していた。

ただし、これは「ノイズを直ちに撤廃すべきである」という短絡的な結論を意味するものではない。

ルートノイズは普段の方策では選ばれにくい手番をあえて探索させ、自己対局で訪れる盤面の多様性を担保するために不可欠なメカニズムである。教師ターゲットの見かけの安定性を優先してノイズを削れば、盤面探索の広がりが失われ、結果として対局性能が低下する恐れがあるため、本番構成の安易な変更は保留とした。

単純に512回探索へ拡張するアプローチの留意点

現在の自己対局パイプラインでは、ルートノイズの影響で人為的に底上げされたと判定される訪問回数を教師分布から差し引く補正処理を行っている。

ただし、補正後の有効訪問回数が極端に少なくなった場合には、数サンプルのみの極めて不安定な分布が教師データ化するのを避けるため、補正前の素の訪問回数へフォールバックする安全弁を設けている。

このフォールバックが発生した割合は、128回探索ではわずか0.049%にとどまっていたが、512回探索では14.26%へと急増した。

さらに、ノイズありの512回探索におけるターゲット分布のばらつきは、計算量を4倍に増やしたにもかかわらず、128回探索時よりもむしろ悪化していた。

これは事前の主要仮説ではなく探索的な追加分析によって判明した挙動であり、根本的な原因の完全な特定には至っていない。しかしながら、現行の補正ルールが探索予算の規模に対して中立ではないという点だけは明白となった。

したがって、「128回で足りないなら、単に探索回数を512回に増やせばよい」という単純な変更も採るべきではないことが明らかになった。

方策ターゲットの課題は単なるラベルノイズにとどまらない

同一局面で探索結果が揺れるという現象は、一見すると教師ラベルに含まれるランダムなノイズのように思える。

現在のソフト方策クロスエントロピー損失は教師ターゲットに対して線形であるため、理論上、完全に同一の局面を無限にサンプリングできるのであれば、シードごとのランダムなばらつきは平均化されて打ち消されるはずである。

しかしより本質的な問題は、「平均化された探索分布そのものが、深い探索の結果から系統的に乖離している」という点にあった。ノイズを除去した環境であっても、128回から512回、2,048回と予算を増やすにつれて、方策分布は4,096回の基準側へと一貫してシフトし続けていたためである。

加えて、実際の自己対局において各局面のターゲットが生成されるのは一度きりであり、かつその探索結果に基づいて実際の着手が選択される。したがって、ターゲットのブレは単に損失の計算にとどまらず、後続として生成されるゲーム軌跡の分布そのものを歪めてしまう。

今後のアプローチ：ノイズ調整と計算配分の分離検証

これまでの開発における認識は、以下のようなものだった。

方策ターゲットは情報量が多く分布も尖っているため、おそらく十分な質を保てている
真に疑わしいのは局面評価ターゲットの方だろう

しかし今回の検証によって、方策側にもルートノイズと有限シミュレーション予算に起因する深刻な課題が存在することが浮き彫りとなった。

次のステップとしては、まずルートノイズの付与強度を変えたアブレーション実験を実対局評価（arena）付きで実施する。その上で、同一の総計算リソースのもとで「1局面を深く探索する」アプローチと「局面数を多く収集する」アプローチのどちらが学習効率に寄与するかを比較・検証していく。

今回の4,096回探索の結果も決して完全な正解を保証するものではなく、これによって直ちに新しいモデルが強くなったわけではない。

しかし、「128回探索の出力を安易に強固な教師信号として盲信する」というリスクを事前に回避し、探索の信頼性を定量的に測るための評価軸を確立できたことの意義は極めて大きい。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。