#splendor
- PPOモデルにPUCT探索自己対局を重ねたら弱体化した
- PPOの目的関数を直したら、探索付きの勝率が8ポイント落ちた
- 探索を使わないPPO自己対局でモデル強化に成功した
- 自己対局を2倍に増やしても対局強度の改善は検出できなかった
- 探索ノイズを教師ラベルから除くと、新行動の獲得が停滞した
- blind-reserve対応後に48世代self-playしても強さはほぼ伸びなかった
- ガチ実戦対局させてみた
- Value Headの偏りを補正すると対局強度が約3pt改善した
- U v8自己対局ループの飽和調査：第43世代でL-s0比74.9%、第47世代のリグレッションで停止
- 探索教師を作り替えても、PUCT-128から切り替える根拠は得られなかった
- 有望な手の取りこぼしは、探索漏れではなく初期の浅い評価に起因していた
- 終盤だけ探索を深くすると、まだ大きな取りこぼしが見つかった
- 実はサチってなかったモデルと実戦対局してみた
- raw policy targetから8世代回したら、さらに+17pt伸びた
- U8モデルと実戦対局してみたら、意外と強いかもしれない話
- 探索ノイズを引いた教師より、そのままの訪問回数で学習した方が強かった
- 自己対局の開始局面を多様化したが、対局勝率の改善には結びつかなかった
- 探索評価値をvalue targetに反映させて学習したら、G11で+10.9pt勝ち越した
- value loss係数を0.25に引き下げた再学習で、対局勝率が+10.4pt改善した
- 自己対局ループを6世代継続実行し、G10がG4に+6.2pt勝ち越した
- 25本の自己対局実験を横断整理し、今後の開発ロードマップを再設計した
- CPU自己対局ループの無駄なパディングを削り、実行時間を16.6%短縮した
- PUCT探索で即勝ち候補手を厳密に扱い、終盤の誤探索を+0.82pt改善した
- PUCTの探索設定を自己対局データ生成に反映したら、G4が+3.26pt勝ち越した
- 自己対局で出現しにくい終盤局面を、モデル推論なしで効率的にサンプリングする
- Arena評価のPUCT探索を早期終了させ、1世代の所要時間を23%短縮した
- 4,608局の対局ログをリプレイして、終盤の敗北パターンを特定した
- 「カード補充を見てからトークンを返却する」情報価値をオフラインで測定した
- PUCTのハイパーパラメータを再調整し、128シミュレーションで+8.6pt改善した
- 意思決定を段階化して検証したら、カード補充後の追加判断は4096手中2回にとどまった
- エンティティ表現の構造化を試みたが、対局性能の改善には結びつかなかった
- 探索付き自己対局ループを3世代回し、固定パネルで+10.9ptの向上を確認した
- 自己対局ループの投入前に、EATにおけるPUCT探索の効果を検証した
- ルールベース教師を用いたEntity-Action Transformerの初期学習
- 候補手をpacked表現に刷新し、EATの学習速度を3.8倍に高速化した
- 盤面と候補手を直接評価するEntity-Action Transformer（EAT）の導入
- 手番と得点レースの特徴量を追加したら、実対局でも有意に勝ち越した
- value入力に手番情報が欠落していた問題と、レース特徴量の設計
- 自己対局データをさらに2倍に増やしたが、強さの伸びは頭打ちになった
- 自己対局学習を58,800局・16,000ステップへスケールする準備
- 学習行数を増やさずに自己対局数を4倍にスケールしたら、対局勝率が向上した
- 128回探索の安定性を検証したら、同一局面でも22.5%で最善手が変わった
- 継続対局によるvalue教師信号の検証: 8局平均は現行モデルを上回らなかった
- Splendorのランダム補充に対して木探索を工夫したが、単純なPUCTの方が強かった
- 探索評価値をvalue教師に反映させたモデルを1,600局で検証した
- 128回探索の自己対局8,192局を生成し、value教師信号の課題を分析した
- PUCT探索による勝率の押し上げ効果を定量的に検証した
- 自己対局を2世代回しても伸び悩んだため、学習量不足の仮説を検証した
- 自己対局ループを立ち上げ、最初のモデル更新を通した
- 教師あり学習による初期ブートストラップ: policy向上とvalueの早期過学習
- Splendor AIのモデル構造と特徴量設計