最大エントロピー法を利用した棋譜集からの指し手学習

Presentation on theme: "最大エントロピー法を利用した棋譜集からの指し手学習"— Presentation transcript:

1 最大エントロピー法を利用した棋譜集からの指し手学習
鶴岡慶雅

2 大山名人はこの局面でどう指す？ 後手番 正解 ２五歩 激指の予測 ２五歩（9.2%） ８四歩（7.3%） ４五歩（5.9%）
正解　２五歩 激指の予測 　２五歩（9.2%） 　８四歩（7.3%） 　４五歩（5.9%） 　５三銀（5.4%） 　　：

3 指し手を確率的に予測 用途 方法 棋士の棋風を再現 実現確率打ち切り探索の遷移確率 探索の枝狩り/延長 ：
　　： 方法 大量の棋譜から確率モデルを利用して機械学習

4 最大エントロピー法による 機械学習 Log-linear model ２値分類： 「指される」 or 「指されない」
訓練データの尤度を最大化するようにパラメータ（素性の重み）を決定 素性関数 素性の重み

5 学習に利用する素性（特徴量） 指し手そのもの（移動元と移動先の座標、駒の種類） 駒の種類 駒の移動元の局所的な盤面情報（3x3）
駒の移動先に敵のききがあるかどうか 駒得をする手かどうか 直前に動いた駒を取り返す手かどうか 相手の飛車の位置と局所的な盤面情報の組み合わせ 　　　：

6 学習 大山十五世名人の棋譜６５０局を分割 中盤までの全ての局面（進行度４０以内）において、可能な指し手を全て生成し、学習データとする
訓練データ： ５１２局 テストデータ：１００局 中盤までの全ての局面（進行度４０以内）において、可能な指し手を全て生成し、学習データとする

7 指し手予測の正解率 ※局面ごとに上位ｎ個の指し手を出力し、その中に正解手が含まれているかどうかのパーセンテージ ※訓練データ：５１２局
順位 訓練データに 存在する局面 存在しない局面 計 1 77.7 35.3 46.9 2 91.0 49.4 60.8 3 95.5 58.0 68.2 4 98.5 63.8 73.2 5 99.1 69.1 77.3 6 99.4 73.3 80.4 7 99.8 76.8 83.1 8 79.4 84.9 9 99.9 82.2 87.0 10 84.6 88.8 ※局面ごとに上位ｎ個の指し手を出力し、その中に正解手が含まれているかどうかのパーセンテージ ※訓練データ：５１２局 訓練データに存在しない局面でも３割以上の確率で正解手を当てている。

8 正解率と訓練データ量の関係 訓練データは多ければ多いほどよい ５００局でもまだ不足

9 指し手予測の例 先手番 正解　１六歩 激指の予測 　６六歩（25％） 　６八銀（11％） 　４七銀（10％） 　３七銀（9％） 　　：

10 指し手予測の例 先手番 正解　４五歩 激指の予測 　４五歩（70.1%） 　５五歩（23.2%） 　４五桂（6.4%） 　２五歩（3.8%） 　　：

11 課題 予測精度 探索への利用 棋風の再現 学習に利用する特徴量をさらに工夫する 訓練データを増やす 実現確率打ち切りに適用
探索による結果とどう折り合いをつけるか