探索教師を作り替えても、PUCT-128から切り替える根拠は得られなかった

Splendorの自己対局学習では、PUCT-128の訪問回数分布を次世代モデルの学習targetにしている。探索を深くすれば良い手が見つかることは確認済みだが、その探索結果を教師として学習させた子モデルも強くなるのかを検証した。

第7世代モデルFを起点に、終盤のみ探索を512回に増やす手法、少数訪問手を掘り下げるEDC、Gumbel AlphaZero、UNSTで探索を延長する手法を比較した。

いずれも標準のPUCT-128から切り替える根拠にはならなかった。局面単位の着手改善と、その教師データで学習したモデルの強さは別物だった。

深く読む利益は学習へ伝わらない

終盤PUCT-512では固定局面の教師分布の品質が+0.0190 score/root改善した。しかし4世代学習させた子モデルは、PUCT-128側に対して+0.73ポイント［−0.95〜+2.42］にとどまり、有意な差は出なかった。

自己対局数を248組へ減らすと−3.55ポイント［−5.57〜−1.54］と有意に負け越した。深い探索の利益よりも、学習データ量が半減した損失の方が大きかった。

EDCは教師分布が−0.0169/root悪化し、学習実験へ進まなかった。

Gumbel-128は固定局面での教師分布が+0.014/root改善したものの、学習した子モデルは−3.14ポイント［−4.25〜−2.04］と劣後した。16組中15組でGumbel側が敗れている。

UNSTは着手改善の検出に有効だったが、その局面のみ512回に延長した教師分布は、一律に終盤を512回読む手法より−0.0102/root劣った。計算量あたりの優位性は確認できず、学習実験は見送った。

標準の自己対局教師はPUCT-128を維持する。

局面ごとの着手品質、ノイズを含む教師分布の質、学習したモデルの実力はそれぞれ別々に確かめる必要がある。固定局面の指標が改善しても、モデルの強さに直結するとは限らない。

この記事は、実装・実験記録をもとに、主にLLMが編集しています。