ニューラルネットは、いつ、なぜ、どのようにして役立つか？ 東京工業大学 渡辺澄夫 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks ニューラルネット(NN)とは K k=1 f(x,w) = Σ a k σ(bk・x+ck) ◎階層的な構造 階層構造は何を引き起こすか？ 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks NNが役立つとき どれだけたくさんの 関数になりうるか？ (1) 対象がまったく未知であるとき NNは関数空間の中で豊富か？ (2) できる限りよい予測をしたい 精度のよい予測 ができるか？ NNの予測は高精度か？ ※　学習理論の鉄の掟: (1) と (2) は普通、相反する 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 関数空間の中での豊富さ g(x) が二乗可積分なら g(x) = ∫u(b,c)σ(b・x+c) dbdc 超完全性：　 　u(b,c) はユニークには定まらない 特定できない 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 関数近似 Barron, A.R.(1993) 　g(x) のフーリエ展開が L1 に属するとき x の次元によらず K k=1 = C K ∫[ g(x)- Σ a k σ(bk・x+ck) ]2 q(x) dx を満たす (a k , bk, ck ) が存在 どれだけ早く 誤差が消えるか 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 関数近似効率 科学的に 比較できる ニューラルネット C/K 多項式,三角関数 C/K2/N N:xの次元 近 似 誤 差 K:パラメータ数 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 学習の問題 q(x) ～ x1,x2,…,xn 学習して 夢をかなえる yi = g(xi) + εi εi～ N(0,12) y y = g(x) x 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 学習と予測 データから s(x) を作り出す アルゴリズムはいろいろ (x1 ,y1 ) (x2 ,y2 ) (xi ,yi ) s(x) 学習 (xn ,yn ) ∫( g(x) - s(x) )2q(x)dx G(n)=E[ ] 予測誤差 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 予測アルゴリズム n i=1 1 2 E(w) = ∑ (yi – f(xi,w))2 最尤推測 w* = argmin E(w) f(x,w*) 一人で予測 ベイズ推測 p(w) ∝ e – E(w) φ(w) ∫f(x,w)p(w)dw みんなで予測 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 予測誤差 NN 最尤法 Open Problem NN ベイズ法 Watanabe(1999) 正則モデル 最尤法 Akaike(1974) 正則モデル ベイズ法 Schwarz(1978) 予 測 誤 差 予 測 誤 差 パラメータ数 パラメータ数 2018/11/28 Mathematical foundation of neural networks

なぜNNは統計的正則モデルと異なるのか？ K k=1 f(x,w) = Σ a k σ(bk・x+ck) パラメータが特定可能でない f(x, w1) = f(x, w2) ⇒　w1 = w2 が成り立たない 中身は不明 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks パラメータ空間 K k=1 入力 X パ ラ メ ｜ タ w 学習モデル 出力 Ｙ 大きい モデル 中間 のモデル C B A 小さい モデル パラメータ空間　 W 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks NNの学習理論 K k=1 真の関数 　g(x) = Σ a* k σ(b*k・x+c*k) f(x,w) = Σ a k σ(bk・x+ck) H k=1 学習モデル K＜H のときの予測誤差を解明せよ 集合 {w; g(x) =f(x,w) } は特異点を持つ解析的集合 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks ベイズ法 Re(z) Im(z) -λ 1 2 H(w) = ∫(g(x)-f(x,w))2 q(x)dx J(z) = ∫ H(w)z φ(w)dw ゼータ関数 G(n) = λ　　　　(m-1) n 　　 n log n 数理の不思議 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks 最尤法,MAP法 n i=1 1 2 E(w) = ∑ (yi – f(xi,w))2　+ α t(w) w* = argmin E(w) 未解決問題 H(w*) = ∫(g(x)-f(x,w*))2 q(x)dx 1 2 予想 ∝ log n n 正則モデルなら パラメータ数 2n 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks なぜベイズ法でうまくいくのか？ 1 2 E(w) = ∑ (g(xi) + εi– f(xi,w))2　 H(w) = ∫(g(x)-f(x,w))2 q(x)dx 1 2 　p(w) に従う w は 　w* の近く 　　にはない w* = argmin E(w) p(w) ∝e – E(w) φ(w) 最尤 ベイズ 2018/11/28 Mathematical foundation of neural networks

Mathematical foundation of neural networks まとめ ニューラルネットは 真の分布が未知のとき (2) パラメータが特定不能であることが理由で (3) ベイズ法により高精度な予測ができるので 実問題において役立つ 2018/11/28 Mathematical foundation of neural networks