教師がコミティマシンの場合のアンサンブル学習 三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ)

Slides:



Advertisements
Similar presentations
Division of Process Control & Process Systems Engineering Department of Chemical Engineering, Kyoto University
Advertisements

『わかりやすいパターン認 識』 第 5 章 特徴の評価とベイズ誤り確率 5.4 ベイズ誤り確率と最近傍決定則 発表日: 5 月 23 日(金) 発表者:時田 陽一.
関西学院大学オープンセミナー 2010年6月12日.  決定論的現象 天体の運動のように未来が現在により決 まっている現象  偶然的現象 偶然的な要素が加わり、未来の予測が不可 能な現象 気象、地震、災害、事故、宝くじ 株価、寿命、 … … … … … … … ….
土木計画学 第3回:10月19日 調査データの統計処理と分析2 担当:榊原 弘之. 標本調査において,母集団の平均や分散などを直接知ることは できない. 母集団の平均値(母平均) 母集団の分散(母分散) 母集団中のある値の比率(母比率) p Sample 標本平均 標本分散(不偏分散) 標本中の比率.
放射線の計算や測定における統計誤 差 「平均の誤差」とその応用( 1H) 2 項分布、ポアソン分布、ガウス分布 ( 1H ) 最小二乗法( 1H )
●母集団と標本 母集団 標本 母数 母平均、母分散 無作為抽出 標本データの分析(記述統計学) 母集団における状態の推測(推測統計学)
ソーラス符号の パーシャルアニーリング 三好 誠司 上江洌 達也 岡田 真人 神戸高専 奈良女子大 東大,理研
第1回 確率変数、確率分布 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
ニューラルネットのモデル選択 村田研究室 4年  1G06Q117-5 園田 翔.
理化学研究所 脳科学総合研究センター 脳数理研究チーム 岡田真人
分布の非正規性を利用した行動遺伝モデル開発
統計解析 第9回 第9章 正規分布、第11章 理論分布.
Bassモデルにおける 最尤法を用いたパラメータ推定
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
芦田尚美*,髙田雅美*,木目沢司†,城和貴* *奈良女子大学大学院 †国立国会図書館
Bias2 - Variance - Noise 分解
Bias2 - Variance - Noise 分解
シミュレーション論Ⅰ 第4回 基礎的なシミュレーション手法.
東京工業大学 機械制御システム専攻 山北 昌毅
プロセス制御工学 6.PID制御 京都大学  加納 学.
ブロック線図によるシミュレーション ブロック線図の作成と編集 ブロック線図の保存と読込み ブロック線図の印刷 グラフの印刷
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
東京工業大学 機械制御システム専攻 山北 昌毅
プロセスデータ解析学2 -単回帰分析- 担当:長谷部伸治     金 尚弘.
システムモデルと伝達関数 1. インパルス応答と伝達関数 キーワード : 伝達関数、インパルス応答、 ステップ応答、ランプ応答
パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義.
データ解析 静岡大学工学部 安藤和敏
第6章 連立方程式モデル ー 計量経済学 ー.
背 景 多数の「スピン」とそれらの「相互作用」という二種類の変数を有する系の解析においては,相互作用の方は固定されておりスピンだけが 変化するモデルを考える場合が多い.   (例:連想記憶モデル) 「スピン」よりもゆっくりと「相互作用」も変化するモデル(パーシャルアニーリング)の性質は興味深い.
領域ベースの隠れ変数を用いた画像領域分割
タップ長が一般化された 適応フィルタの統計力学
5 テスト技術 5.1 テストとは LISのテスト 故障診断 fault diagnosis 故障解析 fault analysis
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
人工知能特論 9.パーセプトロン 北陸先端科学技術大学院大学 鶴岡 慶雅.
P3-12 教師が真の教師のまわりをまわる場合のオンライン学習 三好 誠司(P)(神戸高専) 岡田 真人(東大,理研,さきがけ)
あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では
教師がコミティマシンの場合の アンサンブル学習
情報理工学系研究科 数理情報学専攻 数理第四研究室 博士三年 指導教員: 駒木 文保 准教授 鈴木 大慈 2008年8月14日
第14章 モデルの結合 修士2年 山川佳洋.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
強化学習を用いたバックギャモンプレイヤーの生成 TD-Gammon
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
22章以降 化学反応の速度 本章 ◎ 反応速度の定義とその測定方法の概観 ◎ 測定結果 ⇒ 反応速度は速度式という微分方程式で表現
Introduction to Soft Computing (第11回目)
ルンゲクッタ法 となる微分方程式の解を数値的に解く方法.
予測に用いる数学 2004/05/07 ide.
計測工学 -誤差、演習問題 計測工学(第6回) 2009年5月26日 Ⅱ限目.
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 報告書の作成 標本デザイン、データ収集
(昨年度のオープンコースウェア) 10/17 組み合わせと確率 10/24 確率変数と確率分布 10/31 代表的な確率分布
Data Clustering: A Review
ボルツマンマシンの定義 ボルツマンマシン(Boltzmann machine)は、スピン・システムをヒントに作られたモデルである。
データの型 量的データ 質的データ 数字で表現されるデータ 身長、年収、得点 カテゴリで表現されるデータ 性別、職種、学歴
第4章 識別部の設計 4-5 識別部の最適化 発表日:2003年5月16日 発表者:時田 陽一
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
第3章 線形回帰モデル 修士1年 山田 孝太郎.
教師がコミティマシンの場合の アンサンブル学習
過学習を考慮した IS1-60 AAMパラメータの選択と回帰分析による 顔・視線方向同時推定 顔・視線同時推定 研究背景
回帰分析(Regression Analysis)
教師が真の教師のまわりを まわる場合のオンライン学習
JNNS-DEX-SMI-玉川 公開講座 「交換モンテカルロ法とその応用」
ポッツスピン型隠れ変数による画像領域分割
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法.
領域ベースの隠れ変数を用いた決定論的画像領域分割
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
回帰分析入門 経済データ解析 2011年度.
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
Presentation transcript:

教師がコミティマシンの場合のアンサンブル学習 三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ) 教師がコミティマシンの場合のアンサンブル学習  三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ)

あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では生徒の多様性が消滅せず,そのためにアンサンブルの効果が残ること,アダトロン学習では一種の過学習が起こることなど,学習則毎の顕著な特徴が明らかになった.

背 景 (1) 1 2 K アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 背 景 (1) アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 教師が1個の単純パーセプトロン で   生徒がK個の単純パーセプトロン の場合の解析   → 学習則によりアンサンブルの効果に違いがある   (三好,原,岡田,2003-2004) Teacher Students 1 2 K

背 景 (2) 教師が1個の非単調パーセプトロン で 生徒が1個の単純パーセプトロン の場合の解析 教師が生徒のモデル空間内にない場合の解析 背 景 (2) 教師が1個の非単調パーセプトロン で   生徒が1個の単純パーセプトロン  の場合の解析 (Inoue & Nishimori, PRE, 1997) (Inoue, Nishimori & Kabashima, TANC-97, cond-mat/9708096, 1997) Teacher Students 教師が生徒のモデル空間内にない場合の解析

目 的 アンサンブル学習の特徴 教師がコミティマシンで生徒がK個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析 多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できる 学習不能な場合(教師が生徒一個のモデル空間内にない 場合)のアンサンブル学習の解析は非常に興味深い 目 的 教師がコミティマシンで生徒がK個の単純パーセプトロンの場合のアンサンブル学習をオンライン学習の枠組みで解析

モデル(1) 1 2 K 同じ入力 x が同じ順序で提示される 一度使った入力 x は廃棄される(オンライン学習) 生徒は独立に学習 Teacher Students 1 2 K 同じ入力 x が同じ順序で提示される 一度使った入力 x は廃棄される(オンライン学習) 生徒は独立に学習 生徒集団としての出力は多数決で決定

モデル(2) 入力:  教師:  生徒: N→∞(熱力学的極限) 生徒の長さ

統計的学習理論の目的のひとつは汎化誤差を理論的に計算することである 理 論 統計的学習理論の目的のひとつは汎化誤差を理論的に計算することである 汎化誤差: 新たな入力に対して教師と異なる答を出す確率 多重ガウス分布

教師中間層と生徒の 類似度 生徒間の類似度

3個の巨視的変数 l,R,q のダイナミクスを記述する決定論的連立微分方程式(熱力学的極限における自己平均性に基づいて導出)

汎化誤差の計算手順 微分方程式を数値的に解いてl,R,qのダイナミクスを計算.その際,サンプル平均<・>はメトロポリス法で算出

よく知られている3つの学習則 ヘブ学習 教師の出力 パーセプトロン学習 アダトロン学習 ステップ関数

結果1 ヘブ学習 理論 計算機シミュレーション (N=1000) 学習の初期段階でアンサンブルの効果 アンサンブルの効果が消滅 結果1 ヘブ学習 理論 計算機シミュレーション (N=1000) アンサンブルの効果が消滅 生徒の多様性が消滅(q=1) 生徒が教師中間層の中央に漸近 M: 教師中間層ユニット数 K: 生徒数

結果2 パーセプトロン学習 理論 計算機シミュレーション (N=1000) アンサンブルの効果が残っている (Kによる違いが残っている) 結果2 パーセプトロン学習 理論 計算機シミュレーション (N=1000) アンサンブルの効果が残っている (Kによる違いが残っている) 生徒の多様性が残っている(q<1)

結果3 アダトロン学習 一種の“過学習” 計算機シミュレーション (N=1000) 理論 Rが極大値をとる → 生徒が一個でも過学習がある

結果4 残留汎化誤差 M: 教師中間層ユニット数 K: 生徒数

Rとqが定常に達した後の生徒 (t=100の生徒とそれ以後のその生徒自身の類似度) 生徒は停止している 生徒は動いている (M=3, 計算機シミュレーション)

Rとqが定常に達した後の生徒 ヘブ学習 パーセプトロン学習 アダトロン学習 生徒は教師中間層 の中央に漸近 生徒はバラバラの ままで動き続ける 生徒は一体になって 動き続ける ヘブ学習 パーセプトロン学習 アダトロン学習

まとめ 教師がコミティマシンの場合のアンサンブル学習をオンライン学習の枠組みで解析・議論した.その結果,学習則毎に顕著な特徴があることが明らかになった. ヘブ学習 → 生徒が教師中間層の中央に漸近 パーセプトロン学習 → アンサンブルの効果が残る アダトロン学習 → 過学習が起こる