教師がコミティマシンの場合の アンサンブル学習 三好誠司 原 一之 岡田真人 神戸市立高専 都立工業高専 東大, 理研, 科技機さきがけ
背 景 （１） 1 2 K アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 背 景 （１） アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 教師が１個の単純パーセプトロン で 生徒がK個の単純パーセプトロン の場合の解析 （三好，原，岡田，2003-2004） Teacher Students 1 2 K
背 景 （２） 教師が１個の非単調パーセプトロン で 生徒が１個の単純パーセプトロン の場合の解析 背 景 （２） 教師が１個の非単調パーセプトロン で 生徒が１個の単純パーセプトロン の場合の解析 （Inoue & Nishimori, Phys. Rev. E, 1997) （Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997) Teacher Students
アンサンブル学習の特徴 多数決などで生徒を組み合わせることにより，単一の生徒では表現できない入出力関係を実現できる 目 的 教師がコミティマシンで生徒がK個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析 Teacher Students 1 2 K
モデル（１） 1 2 K 同じ入力 x が同じ順序で提示される 一度使った入力 x は廃棄される（オンライン学習） 独立に学習 多数決 Teacher Bm Students J1 ,J2 , ・・・ ,JK 1 2 K 同じ入力 x が同じ順序で提示される 一度使った入力 x は廃棄される（オンライン学習） 独立に学習 多数決
モデル（２） 入力： 教師： 生徒： 生徒の長さ
新たな入力に対して教師と異なる答を出す確率 汎化誤差 新たな入力に対して教師と異なる答を出す確率 多重ガウス分布
教師中間層と生徒の 類似度 生徒間の類似度
生徒の長さ 教師と生徒の類似度 l , R, q を記述する微分方程式 生徒間の類似度
入力 教師の出力
l , R, q を記述する微分方程式
新たな入力に対して教師と異なる答を出す確率 汎化誤差 新たな入力に対して教師と異なる答を出す確率 多重ガウス分布
ヘブ学習 パーセプトロン学習 アダトロン学習
汎化誤差のダイナミクス（ヘブ学習） 生徒の数 教師中間層 理 論 計算機シミュレーション (N=1000)
汎化誤差のダイナミクス（ヘブ学習）
汎化誤差のダイナミクス（パーセプトロン学習） 理 論 計算機シミュレーション (N=1000)
汎化誤差のダイナミクス（パーセプトロン学習）
汎化誤差のダイナミクス（アダトロン学習） 理 論 計算機シミュレーション (N=1000)
汎化誤差のダイナミクス（アダトロン学習）
残留汎化誤差 生徒の数 教師中間層
Rとqが定常に達した後の生徒 （M=3, 計算機シミュレーション）
Rとqが定常に達した後の生徒 ヘブ学習 パーセプトロン学習 アダトロン学習
まとめ 教師がコミティマシンの場合のアンサンブル学習をオンライン学習の枠組みで解析・議論 ヘブ学習 → 生徒が教師中間層の中央に漸近 パーセプトロン学習 → アンサンブルの効果が残る アダトロン学習 → 過学習が起こる