自己対局の開始局面を多様化したが、対局勝率の改善には結びつかなかった

Splendor AIの開発において、自己対局のみで学習を続けると、モデルが普段到達しない局面に遭遇できず、性能向上が頭打ちになる場合がある。そこで、通常の初期配置から始める自己対局に加え、ルールベースAIが途中まで進めた局面から対局を再開する「restart」を導入し、学習局面のカバレッジを広げることで勝率向上に寄与するかを検証した。

検証対象には、staged actionを採用したUモデルの第8世代（U8）を用いた。通常の初期配置のみから開始するベースライン（C）と、対局の75%を通常開始、25%を層化サンプリングしたrule-prefix restartに置き換えた群（DS）を用意し、いずれもU8を出発点として3世代にわたり自己対局と学習を進めた。

結論として、従来の通常開始をそのまま維持する方針とした。

restartの導入で学習データの状態分布は拡大した

DSでは、ルールベースAIで生成した途中局面を36個の状態セルに分類し、Uモデル自身の通常対局では出現頻度の低いセルから優先してrestart局面を選択した。各世代における512組の開始局面のうち、128組をrestart局面へ置き換えている。

その結果、モデルが学習時に参照する状態の多様性は実際に向上した。

これにより、restartを導入しても既存の典型的な局面ばかりが学習されるといった事態は避けられたことが確認できる。出現頻度の低いrare状態の割合は確実に増加しており、追加した局面は学習データとして機能していた。

一方で、対局開始時のrestart比率25%は、そのまま学習ステップでの影響力には直結しなかった。restartはゲーム途中から開始するため1局あたりの手数が短く、DSの総学習行数に占めるrestart由来の割合は約6%にとどまった。1組あたりのMAIN決定行数を見ても、通常対局の約57行に対してrestartは約11行であった。

状態カバレッジは向上したものの、3世代後の対局勝率は改善せず

主評価として、7組のpaired seedにおいて3世代目のDSとCを直接対局させた。各seed 800ペア、合計11,200局の対戦結果を集計した。

勝率は50.1%とほぼ互角であった。本実験では、事前の判断基準として+2.5ポイント以上の改善を有意な成果と定義していた。しかし片側95%上限は+1.66ポイントにとどまり、この設定・3世代・U8系統という条件下では、目標とした水準の改善効果は得られないと判断した。

また、両条件のモデルを元のU8と対戦させたところ、Cは49.3%、DSは51.1%であった。どちらのモデルも、U8からさらに3世代学習を進めたことで明確に勝率が向上したとは言えない結果となった。

局面カバレッジの拡大そのものは達成できたものの、それ単体では対局勝率の向上に結びつかなかった。

より適切なrestart局面の選定による改善余地を検証

この結果のみでは、restartというアプローチ自体が不適当なのか、あるいは今回サンプリングした局面の質に問題があったのかを判断できない。

そこで、次段階の実験へ進むための判定基準をあらかじめ定義し、追加のStage 0評価を実施した。通常局面384件と、改善版restartで投入予定だった序盤・中盤のrule-prefix局面256件を用意し、各局面からU8同士の対局を8回ずつ継続させた。計5,120局の対局データをもとに、局面価値の予測誤差および探索シミュレーション数を増やした際の改善余地（headroom）を測定した。

設定した判定基準（gate）は以下の2点である。

測定の結果、restart局面において素の価値評価（raw value）の誤差が大幅に拡大している兆候は確認されなかった。また、探索シミュレーション数を128から1,024へと8倍に増やした場合でも、探索によるtarget誤差の改善は約9%にとどまった。

これを受け、改善版restartを用いる次段階の実験（DS-2）の実施は見送った。開始局面のサンプリングを変更するアプローチはここで終了とし、従来の通常開始を標準構成として維持することを決定した。

得られた知見と今後の展望

今回の実験を通じて、「出現頻度の低い局面を学習に含めること」と「モデルの実対局勝率が向上すること」を分離して評価できた。

restartの導入によって局面カバレッジ自体は広がったものの、学習データ全体に占める比率は約6%にとどまり、即座に勝敗を左右する局面（ready-threat等）の増加幅もわずかであった。その結果、3世代の学習を経ても対局性能の改善は観測されなかった。

したがって、現状の性能の頭打ちを単純な局面カバレッジ不足に求めるのは適切ではない。今後は、同一データからより有効なvalue targetを構築する手法や、モデル表現力、最適化手法など、開始局面以外の要因に焦点を当てて検証を進める予定である。

もっとも、今回の結果をもってrestartという手法全般が無効であると結論づけることはできない。検証できた範囲は、U8から3世代にわたり開始局面の25%（学習データ全体の実効比率としては約6%）をrestartに置き換えた構成における効果にとどまる。比率や局面選定ロジック、あるいは異なるモデル系列に対しては、今回の結果をそのまま一般化することは避けるべきである。

この記事は、実装・実験記録をもとに、本文の編集を主にLLMが行い、筆者が内容を確認・修正しています。