25本の自己対局実験を横断整理し、今後の開発ロードマップを再設計した

個別の探索ルール(search rule)、行動表現(action representation)、学習量、データ生成手法を検証する実験が25本まで増えた。そこで各レポートに書かれた「次にやること」をそのまま追うのではなく、得られた実験結果をフラットに並べ直して研究の優先順位を再設計した。

25本の実験横断で残った事実

観測項目実際の測定結果次の判断
self-play loopG0→G3で+10.87 pt [+9.16, +12.57]ループ自体は機能して学習が進んでいる
PUCT設定のtransferG4 treatmentがcontrolに+3.26 pt [+2.06, +4.45]self-playのハイパーパラメータ設定は勝率に大きく影響する
rule opponentG4がpoint rush / reserve anchorに約88〜90%1〜2 pt規模の改善を測るには相手として飽和気味
decisive searchv3 − v2 = +0.82 pt [+0.37, +1.28]明確な探索上の欠陥(defect)は修正する価値がある
追加exactnessv4 − v3 = +0.09 pt [-0.15, +0.32]探索ルールの過度な細分化は優先度を下げる
post-refill recourse0.00329 score/event、自然occupancyでは約0.07 pt/gameno-blind環境での実力向上を狙う主たるアプローチには置かない
target diagnosticcorrected visits regret 0.0359、raw 0.0167、Gumbel 0.0059教師ターゲットの構成手法を直接A/Bテストで比較する
G4 campaign costcollection 2.34 h、fit 0.26 hに対しarena 4.87 h評価コスト自体も研究の計算資源バジェットとして管理する

この一覧を整理すると、モデルのキャパシティや細かな探索ヒューリスティクスをいじる前に、学習パイプライン(recipe)と評価基盤(instrument)を固める必要性が見えてきた。

研究順序を変えた

今後の順番は次の通りにした。

順位実験目的
1frozen strength ladder世代間の強さを同じ物差しで測る
2multi-generation continuation同じrecipeでlearning curveを得る
3policy / value target screenlearnerへ何を教えるかを比較する
4update budget、data quantity1世代の学習量を決める
5collection breadth vs search depth同じcomputeの使い道を比較する
6start-state diversityrare stateや終盤threatを補う
7blind reserve対応最終的なBGA contractへ近づける

一方、128 simulations付近での細かなPUCTグリッドサーチや、追加の終盤ヒューリスティクス、CPUレベルのマイクロ最適化は優先度を下げた。staged actionの実装はblind reserve対応の基盤として残すが、現在のno-blind環境で実力を伸ばすための主要なアプローチには据えない。

個別パッチから学習システム全体へ

これまでの実験を通じて、探索処理の改善が実力差に直結するケースと、手を入れても勝率がほとんど変わらないケースを明確に区別できるようになった。現状で足りていないのは、「同一条件下で持続的に強くなるか」「どの教師ターゲットが優れているか」「1世代あたりにどれだけ学習ステップを割り当てるべきか」という、学習システムの根幹をなす要素の検証である。

以後の実験では、局所的な指標にとどまらず、固定ベンチマーク(frozen ladder)上での最終的な対局性能への反映度合いを基準に採否を判断していく。


この記事は、実装・実験記録をもとに、本文の大部分をLLMが執筆し、筆者が内容を確認・編集しています。