教師がコミティマシンの場合のアンサンブル学習 三好 誠司（神戸高専） 原 一之（都立高専） 岡田 真人（東大，理研，さきがけ）

Presentation on theme: "教師がコミティマシンの場合のアンサンブル学習 三好 誠司（神戸高専） 原 一之（都立高専） 岡田 真人（東大，理研，さきがけ）"— Presentation transcript:

1 教師がコミティマシンの場合のアンサンブル学習 三好 誠司（神戸高専） 原 一之（都立高専） 岡田 真人（東大，理研，さきがけ）
教師がコミティマシンの場合のアンサンブル学習　 三好 誠司（神戸高専） 原 一之（都立高専） 岡田 真人（東大，理研，さきがけ）

2 あらまし アンサンブル学習の大きな特徴として，多数決などで生徒を組み合わせることにより，単一の生徒では表現できない入出力関係を実現できることがあげられる．その意味で，教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い．そこで本研究では，教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する．メトロポリス法により汎化誤差を計算した結果，ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること，パーセプトロン学習では生徒の多様性が消滅せず，そのためにアンサンブルの効果が残ること，アダトロン学習では一種の過学習が起こることなど，学習則毎の顕著な特徴が明らかになった．

3 背 景 （１） 1 2 K アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う
背　景　（１） アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 教師が１個の単純パーセプトロン　で 　 生徒がK個の単純パーセプトロン　の場合の解析 　　→ 学習則によりアンサンブルの効果に違いがある 　　（三好，原，岡田， ） Teacher Students 1 2 K

4 背 景 （２） 教師が１個の非単調パーセプトロン で 生徒が１個の単純パーセプトロン の場合の解析 教師が生徒のモデル空間内にない場合の解析
背　景　（２） 教師が１個の非単調パーセプトロン　で 　 生徒が１個の単純パーセプトロン　　の場合の解析 （Inoue & Nishimori, PRE, 1997) （Inoue, Nishimori & Kabashima, TANC-97, cond-mat/ , 1997) Teacher Students 教師が生徒のモデル空間内にない場合の解析

5 目 的 アンサンブル学習の特徴 教師がコミティマシンで生徒がK個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析
多数決などで生徒を組み合わせることにより，単一の生徒では表現できない入出力関係を実現できる 学習不能な場合（教師が生徒一個のモデル空間内にない 場合）のアンサンブル学習の解析は非常に興味深い 目　的 教師がコミティマシンで生徒がK個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析

6 モデル（１） 1 2 K 同じ入力 x が同じ順序で提示される 一度使った入力 x は廃棄される（オンライン学習） 生徒は独立に学習
Teacher Students 1 2 K 同じ入力 x が同じ順序で提示される 一度使った入力 x は廃棄される（オンライン学習） 生徒は独立に学習 生徒集団としての出力は多数決で決定

7 モデル（２） 入力：　 教師：　 生徒： N→∞（熱力学的極限） 生徒の長さ

8 統計的学習理論の目的のひとつは汎化誤差を理論的に計算することである
理　論 統計的学習理論の目的のひとつは汎化誤差を理論的に計算することである 汎化誤差： 新たな入力に対して教師と異なる答を出す確率 多重ガウス分布

9 教師中間層と生徒の 類似度 生徒間の類似度

10 ３個の巨視的変数 l,R,q のダイナミクスを記述する決定論的連立微分方程式（熱力学的極限における自己平均性に基づいて導出）

11 汎化誤差の計算手順 微分方程式を数値的に解いてl,R,qのダイナミクスを計算．その際，サンプル平均<・>はメトロポリス法で算出

12 よく知られている３つの学習則 ヘブ学習 教師の出力 パーセプトロン学習 アダトロン学習 ステップ関数

13 結果1 ヘブ学習 理論 計算機シミュレーション (N=1000) 学習の初期段階でアンサンブルの効果 アンサンブルの効果が消滅
結果1　ヘブ学習 理論 計算機シミュレーション (N=1000) アンサンブルの効果が消滅 生徒の多様性が消滅(q=1) 生徒が教師中間層の中央に漸近 M: 教師中間層ユニット数 K: 生徒数

14 結果2 パーセプトロン学習 理論 計算機シミュレーション (N=1000) アンサンブルの効果が残っている （Kによる違いが残っている）
結果2　パーセプトロン学習 理論 計算機シミュレーション (N=1000) アンサンブルの効果が残っている （Kによる違いが残っている） 生徒の多様性が残っている(q<1)

15 結果3　アダトロン学習 一種の“過学習” 計算機シミュレーション (N=1000) 理論 Rが極大値をとる →　生徒が一個でも過学習がある

16 結果4　残留汎化誤差 M: 教師中間層ユニット数 K: 生徒数

17 Rとqが定常に達した後の生徒 （t=100の生徒とそれ以後のその生徒自身の類似度）
生徒は停止している 生徒は動いている （M=3, 計算機シミュレーション）

18 Rとqが定常に達した後の生徒 ヘブ学習 パーセプトロン学習 アダトロン学習 生徒は教師中間層 の中央に漸近 生徒はバラバラの
ままで動き続ける 生徒は一体になって 動き続ける ヘブ学習 パーセプトロン学習 アダトロン学習

19 まとめ 教師がコミティマシンの場合のアンサンブル学習をオンライン学習の枠組みで解析・議論した．その結果，学習則毎に顕著な特徴があることが明らかになった． ヘブ学習 → 生徒が教師中間層の中央に漸近 パーセプトロン学習 → アンサンブルの効果が残る アダトロン学習 → 過学習が起こる