Statistical Physics and Singularity Theory 広義統計物理学 と特異点論 渡辺澄夫 東京工業大学 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 統計物理学とは・・・ V 興味のない自由度に 　ついて和を取る PV =nRT W S=logW P 微視的な方程式 巨視的な量 が従う法則 ハミルトニアン Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 真の分布　と　学習モデル 学習者 x: 見える si sj wij y: 隠れ部分 p(x|w) 真の分布 例 推測 si p(x|w*) wij* sj y: 隠れ部分 x: 見える W W* 　W* = {w; p(x|w*)=p(x|w) (∀x) } ⊂ W Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 特異点の問題 p(x|w*) p(x|w) D(w*||w) = ∫p(x|w*) log dx 相対エントロピー W D(w*||w) =0 : 解析的集合 特異点 事後分布も最尤推定量の分布も正規分布には漸近しません。 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 学習の統計力学(1) n 個の例 真: q(x) 学習者 : p(x|w) , 事前 φ(w) Dn={xi} Hn(w) = ∑ log q(xi) p(xi|w) n i=1 ランダム ハミルトニアン 1 E[ Hn(w) ] = D(q||pw) ＝H(w) W 上の ボルツマン分布 e －n Hn(w) φ(w) dw １ Z p(w|Dn) dw = Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 学習の統計力学(2) p(x|Dn) = ∫p(x|w) p(w|Dn) dw 予測分布 ∫q(x) log dx q(x) p(x|Dn) マクロ変数 G(n) = E[ ] n G(n) 学習曲線 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 自由エネルギーと経験過程 自由エネルギー F (n)　= －E [ log ∫e －n Hn(w) φ(w) dw ] と定義すると G(n) = F(n+1) - F(n) n Hn(w) = n H (w) + {nH(w)}1/2 σn(w) σn(w) →σ(w) H(w)=0が正規交差特異点なら Well-defined : 正規確率過程へ Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 特異点のエントロピー H(w) = D(w*||w) Z(n) = ∫e -nH(w)　φ(w) dw 分配関数 v(t) = ∫ δ(t – H(w) )φ(w) dw 状態密度 ラプラス変換 ζ(z) = ∫ H(w)z　 φ(w) dw 　 ゼータ関数 メーリン変換 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 特異点解消定理 H(g(u))=a(u) u1s1 u2s2 ・・・ udsd a(u)>0 正規交差点 H(w) g U locally U0 W W0 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 学習曲線 Neural Computation,13(4),899-933,2001. ある w* ∈ W があって q(x) = p(x|w*) のとき ζ(z) = ∫H(w)zφ(w) dw ゼータ関数 　(-λ): ζ(z) の一番大きな極、ｍ：位数 F(n) = λlog n –　(m-1)loglog n Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 学習係数 NIPS, 13,329-335,2002 det I(w*)＞0, φ(w)>0ならば 　　　λ=d/2 (d: wの次元) (2) det I(w*)=0,φ(w)>0 ならば 　　　λ<< d/2 (３) φ(w): ジェフリーズならば 　　　λ≧ d/2 パラメータ空間 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 統計的正則モデルと特異モデル 正則モデル 正規分布、指数分布、多項式回帰 特異モデル 　　神経回路網　 （Watanabe,2001) 混合正規分布 (Yamazaki&Watanabe,2002) 　　ベイズネットワーク (Rusakov&Geiger,2002) 縮小ランク回帰 (Watanabe&Watanabe,2002) その他、隠れマルコフモデル、ボルツマンマシンなど Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 真の分布がモデルの外にあるとき Neural Networks, 14(8),1049-1060. 真の分布 n:学習例数 G(n) パラメータ空間 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory もっと詳しく見たい！ G(n) ここでは何が起こっているか？ n:学習例数 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 相転移点の解析 Watanabe,S.＆Amari,S.NIPS,15,to appear. エネルギー　対　エントロピー　 関数近似誤差　対　統計的推測誤差 D (特異点|| 真の分布) = c/n モデルの選択・検定 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 特異点 : {(a,b):a=0 or b=0} a=0 b=0 真 具体例 真: q(y|x) = 1 2π exp[ - (y – a* ∑ bｊ* ej(x) )2 ] 2 n 推測 Kullback = |a*|2|b*|2/n 例題 N j=1 x ∈RN, y ∈R1 a ∈R1 , b ∈RN N j=1 1 2π 1 2 exp[ - (y – a∑ bｊ ej(x) )2 ] 学習者: p(y|x,a,b) = Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 汎化誤差と学習誤差 G(n) ＝ λ/ 2n + o(1/n) , T(n) ＝ μ/ 2n + o(1/n) , ここで λ= 1 + Eg[ (a*2 b*2+a*b*・g)YN(g)/YN-2(g)] μ = λ–2N+ Eg[ (2a* b*・g+2g2) YN(g)/YN-2(g)] YN(g)=∫0π/2 sinN t exp(-|a*b*+g|2 sin2t /2) dt g ～ N次元の標準正規分布 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 漸近展開 |a*| |b*|→∞ のとき λ(a*,b*) = N - (N-1)(N-3) / |a*|2 |b*|2, μ(a*,b*) = - N + (N-1)2 / |a*|2 |b* |2. N　: b の次元 (N-1)(N-3), (N-1)2 : 特異点の指標？ Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 対応する正則モデル 真: q(y|x) = 同じ N j=1 1 2π 1 2 exp[ - (y – a∑ bｊ ej(x) )2 ] 学習者: p(y|x,b) = G(n) = N/2n +o(1/n) 真の場所に依存しない T(n) = - N/2n +o(1/n) Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory モデルと確率分布 Rd/～ Rd 内在的な定義 外在的な定義 W Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 外在的なものの意義 数学 ー 内在的なもの 物理 ー 座標不変 神経回路網の有用性は ある特別な外在的な定義が 実世界では有用であることを 述べているのではないだろうか？ Statistical Physics and Singularity Theory

統計的な有効性と 座標不変性は両立するか？ 統計的な有効性と 　　　座標不変性は両立するか？ 最急降下 途中停止 一般アルゴリズム 微分同相不変 アルゴリズム 双有理不変 アルゴリズム 最尤推定法 ベイズ法 事前分布 最適化 有界ジェフリーズ分布 Statistical Physics and Singularity Theory

Statistical Physics and Singularity Theory 結論 (1) 学習モデルにおける特異点の重要性 (2) 特異点の数学的解析 ー　代数幾何、代数解析 (3) 数理から見た神経回路網の研究の目的とは？ Statistical Physics and Singularity Theory