確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研

Slides:



Advertisements
Similar presentations
『わかりやすいパターン認 識』 第 5 章 特徴の評価とベイズ誤り確率 5.4 ベイズ誤り確率と最近傍決定則 発表日: 5 月 23 日(金) 発表者:時田 陽一.
Advertisements

土木計画学 第3回:10月19日 調査データの統計処理と分析2 担当:榊原 弘之. 標本調査において,母集団の平均や分散などを直接知ることは できない. 母集団の平均値(母平均) 母集団の分散(母分散) 母集団中のある値の比率(母比率) p Sample 標本平均 標本分散(不偏分散) 標本中の比率.
放射線の計算や測定における統計誤 差 「平均の誤差」とその応用( 1H) 2 項分布、ポアソン分布、ガウス分布 ( 1H ) 最小二乗法( 1H )
●母集団と標本 母集団 標本 母数 母平均、母分散 無作為抽出 標本データの分析(記述統計学) 母集団における状態の推測(推測統計学)
ソーラス符号の パーシャルアニーリング 三好 誠司 上江洌 達也 岡田 真人 神戸高専 奈良女子大 東大,理研
Fortran と有限差分法の 入門の入門の…
ニューラルネットのモデル選択 村田研究室 4年  1G06Q117-5 園田 翔.
理化学研究所 脳科学総合研究センター 脳数理研究チーム 岡田真人
スペクトル法による数値計算の原理 -一次元線形・非線形移流問題の場合-
統計解析 第9回 第9章 正規分布、第11章 理論分布.
多数の疑似システムを用いた システム同定の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
重力3体問題の数値積分Integration of 3-body encounter.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
放射線の計算や測定における統計誤差 「平均の誤差」とその応用(1H) 2項分布、ポアソン分布、ガウス分布(1H) 最小二乗法(1H)
シミュレーション論Ⅰ 第4回 基礎的なシミュレーション手法.
シミュレーション物理7 乱数.
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
4.2 連立非線形方程式 (1)繰返し法による方法
流体のラグランジアンカオスとカオス混合 1.ラグランジアンカオス 定常流や時間周期流のような層流の下での流体の微小部分のカオス的運動
(ラプラス変換の復習) 教科書には相当する章はない
3次元剛体運動の理論と シミュレーション技法
ー 第1日目 ー 確率過程について 抵抗の熱雑音の測定実験
プロセスデータ解析学2 -単回帰分析- 担当:長谷部伸治     金 尚弘.
システムモデルと伝達関数 1. インパルス応答と伝達関数 キーワード : 伝達関数、インパルス応答、 ステップ応答、ランプ応答
パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義.
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
背 景 多数の「スピン」とそれらの「相互作用」という二種類の変数を有する系の解析においては,相互作用の方は固定されておりスピンだけが 変化するモデルを考える場合が多い.   (例:連想記憶モデル) 「スピン」よりもゆっくりと「相互作用」も変化するモデル(パーシャルアニーリング)の性質は興味深い.
モデルの適用範囲 モデルの適用領域 Applicability Domain (AD)
領域ベースの隠れ変数を用いた画像領域分割
タップ長が一般化された 適応フィルタの統計力学
人工知能特論 9.パーセプトロン 北陸先端科学技術大学院大学 鶴岡 慶雅.
P3-12 教師が真の教師のまわりをまわる場合のオンライン学習 三好 誠司(P)(神戸高専) 岡田 真人(東大,理研,さきがけ)
あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では
教師がコミティマシンの場合の アンサンブル学習
情報理工学系研究科 数理情報学専攻 数理第四研究室 博士三年 指導教員: 駒木 文保 准教授 鈴木 大慈 2008年8月14日
第14章 モデルの結合 修士2年 山川佳洋.
第3章 統計的推定 (その1) 統計学 2006年度.
6. ラプラス変換.
ルンゲクッタ法 となる微分方程式の解を数値的に解く方法.
予測に用いる数学 2004/05/07 ide.
計測工学 -誤差、演習問題 計測工学(第6回) 2009年5月26日 Ⅱ限目.
数理統計学 西 山.
決定木 Decision Tree DT 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 報告書の作成 標本デザイン、データ収集
(昨年度のオープンコースウェア) 10/17 組み合わせと確率 10/24 確率変数と確率分布 10/31 代表的な確率分布
Number of random matrices
ex-8. 平均と標準偏差 (Excel 実習シリーズ)
データの型 量的データ 質的データ 数字で表現されるデータ 身長、年収、得点 カテゴリで表現されるデータ 性別、職種、学歴
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
第3章 線形回帰モデル 修士1年 山田 孝太郎.
ベイズ最適化 Bayesian Optimization BO
教師がコミティマシンの場合の アンサンブル学習
クロス表とχ2検定.
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
教師が真の教師のまわりを まわる場合のオンライン学習
JNNS-DEX-SMI-玉川 公開講座 「交換モンテカルロ法とその応用」
ポッツスピン型隠れ変数による画像領域分割
ガウス分布における ベーテ近似の理論解析 東京工業大学総合理工学研究科 知能システム科学専攻 渡辺研究室    西山 悠, 渡辺澄夫.
パターン認識特論 ADA Boosting.
わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法.
領域ベースの隠れ変数を用いた決定論的画像領域分割
パターン認識特論 ADA Boosting.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
Cプログラミング演習 ニュートン法による方程式の求解.
How shall we do “Numerical Simulation”?
混合ガウスモデル Gaussian Mixture Model GMM
8.2 数値積分 (1)どんなときに数値積分を行うのか?
教師がコミティマシンの場合のアンサンブル学習 三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ)
Presentation transcript:

確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研 確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司   岡田 真人 神 戸 高 専       東 大, 理 研

背 景 確率的フィルタリング(Murata, 2005) アンサンブル学習 背 景 アンサンブル学習 精度の低いルールや学習機械を組み合わせて精度の高い予測や分類を行う 生徒集団の多様性を維持することが重要 確率的フィルタリング(Murata, 2005) Schapireのboostingのアルゴリズム(1990)をオンライン学習に適した形に修正 生徒集団の多様性を維持するためにわざと間違った例題(負例)も用いる点が特徴的

目 的 オンライン学習の枠組みで統計力学的手法を用いた解析を行い,確率的フィルタリングの効果を理論的に明らかにする

モデル(1/2) Teacher Students B J1 J2 J3 教師は非単調な出力特性 生徒集団の出力は3人の多数決で決定

モデル(2/2) 入力:  教師: 生徒の初期値:  N→∞ (熱力学的極限) 3つの巨視的変数 生徒の長さ 方向余弦

確率的フィルタリング(Murata, 2005) ←負例

■確率的フィルタリング(J1の場合) J2とJ3 の出力が異なる場合 J2とJ3 の出力が同じ場合 正例 負例 (正例を使う確率)

統計的学習理論の目的のひとつは汎化誤差を理論的に計算することである まず誤差 を定義 汎化誤差 多重ガウス分布

3個の巨視的変数 l,R,q のダイナミクスを 記述する連立微分方程式 (解析を容易にするため導入した補助的巨視的変数)

ヘブ学習

汎化誤差の計算手順 微分方程式を数値的に解いてl,R,qのダイナミクスを計算.その際,サンプル平均<・>はメトロポリス法で算出.(ただし,b=1.0の場合については微分方程式が解析的に解ける) 得られたR,qを使って数値積分を実行することにより汎化誤差を計算.数値積分はメトロポリス法で実行

統計的学習理論の目的のひとつは汎化誤差を理論的に計算することである まず誤差 を定義 汎化誤差 多重ガウス分布

汎化誤差の計算手順 微分方程式を数値的に解いてl,R,qのダイナミクスを計算.その際,サンプル平均<・>はメトロポリス法で算出.(ただし,b=1.0の場合については微分方程式が解析的に解ける) 得られたR,qを使って数値積分を実行することにより汎化誤差を計算.数値積分はメトロポリス法で実行

汎化誤差のダイナミクス (教師のしきい値a=0.3) -0.3 0.3

Rとqの関係 t=0

J1 J2 J3 J2 J1 B J3 B b=1.0 b=0.52 一人のεg=0.239 一人のεg=0.231 三人のεg=0.184

b<0.5の計算機実験で 生徒の対称性が破れる理由 J1 J2 J3

まとめ Murataの確率的フィルタリングの効果をオンライン学習の枠組みで統計力学的手法を用いて解析した. 教師が非単調で,3個の生徒がヘブ則を用いるモデルについて調べた結果,確率的フィルタリングにより生徒集団の多様性が維持され,汎化能力が大きく改善されることが明らかになった. 次元Nが有限の場合には負例を用いる確率が0.5より大きいと生徒の対称性の破れが生じることがわかった.

Inoue, Nishimori and Kabashima, J.Phys.A, (1997)