4,608局の対局ログをリプレイして、終盤の敗北パターンを特定した

自己対局世代G3のモデルを、教師AI、point rush（速攻型）、reserve anchor（予約重視型）の各エージェントと対戦させた計4,608局の対局ログを、初期盤面から1手ずつリプレイ・再現した。勝率の集計値だけでは表面化しにくい、ゲーム終盤における敗北パターンを具体的に特定・分析するためである。

4,608局中4,601局において、元のarena対局と完全に同一の手順を再現することに成功した。残る7局については、バッチ構成の違いに伴うわずかな推論誤差によって着手系列に微小な分岐が生じたものの、最終的なゲームの勝敗結果自体は完全に一致していた。

大半はレース負けだが、終盤に系統的なエラーが残存

分析対象となった652敗の内訳を調べると、大半は相手に先んじて15点レースを走り切られた順当な敗北だった。しかしその中に、再現性のある系統的な終盤の判断ミスが存在することが判明した。

最後の「訪問回数の集中」という現象については、単に方策事前確率（prior）の狂いだけが原因であると結論づけているわけではない。PUCTにおける訪問回数は、事前確率のみならず局面評価Qや初期評価値FPUの相互作用によっても決定されるためである。

相手のキープによる脅威の典型例として、相手が予約したカードを次の手番で購入すれば15点に到達して勝利が確定する局面であっても、ニューラルネットワークは自身の勝率を約0.62と極めて高く見積もっていた。128回のPUCT探索によって0.50まで下方修正されたものの、実際の勝率（0.39）には及ばなかった。

タイブレーク判定においては、学習データの偏りに起因すると見られる現象も観測された。同点でゲームが終了した際、購入カード枚数が少ない速攻型（point rush / reserve anchor）に対しては0勝34敗と惨敗した一方で、盤面に多数のカードを買い集める教師AIに対しては21勝8敗10分と勝ち越していた。教師AIから生成した学習データにおいて、「大量のカードボーナス基盤を抱えた同点局面」が勝者側に偏っていたため、タイブレーク判定を正しく学習できていなかった可能性がある。

勝率の集計値だけでは浮かび上がらなかった課題

reserve anchor に対するG3の勝率スコア自体は82.55%と高水準だった。同一の開始盤面を用いた point rush との比較差分は -1.56ポイント（95%信頼区間 [-4.59, +1.47]）であり、予約重視の相手だけに特化して弱いという有意な傾向はマクロな集計値からは検出できなかった。

しかし局面単位までブレークダウンして分析することで、キープによる脅威の軽視、タイブレーク判定の誤認、急激な得点ラッシュへの対応遅れといった、具体的な修正ポイントを炙り出すことができた。全体勝率が高い対戦相手であっても、特定の盤面状況において局面評価や探索が系統的に外れるリスクが潜んでいる。

次の実験ステップ

棋譜のリプレイ基盤を整えたことにより、「どの相手に対して勝率が何%か」という大雑把な評価から、「どの局面のどのような判断ミスを修正すべきか」というピンポイントな診断が可能になった。

この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。