教師なしデータ 学習データ X1, X2, …, Xn 真の情報源 テストデータ X
Mathematical Learning Theory 混合正規分布 w = (ak , bk ,σk) K k=1 1 (2πσk2)N/2 || x – bk ||2 2σk2 p(x|w) = ∑ ak exp( － ) K k=1 平均 bk ,分散σk2 の 正規分布 ∑ ak = 1 2018/12/31 Mathematical Learning Theory
Mathematical Learning Theory 混合正規分布 平均 bk ,分散σk2 の正規分布の比 {ak} の和 2018/12/31 Mathematical Learning Theory
Mathematical Learning Theory 隠れ変数（潜在変数） 1 (2πσk2)N/2 || x – bk ||2 2σk2 K k=1 p(x|w) = ∑ ak exp( － ) y について和をとると一致 1 (2πσk2)N/2 || x – bk ||2 2σk2 K k=1 p(x,y|w) = Π [ ak exp( － ) ] yk y = (y1,y2,..,yk ）はひとつだけ１で残りは０。つまり y ∈{(1,0,..,0), (0,1,0,…,0),…,(0,0,…,1)} 2018/12/31 Mathematical Learning Theory
Mathematical Learning Theory 変分ベイズ法１ ベイズ法では、事後分布を作る必要がある。 n i=1 p(w|xn) = (1/Z) φ(w) Π p(xi |w) (隠れ変数、パラメータ）の事後分布を求めて yn について和をとればよい。 n i=1 p(yn,w | xn) = (1/Z) φ(w) Π p(xi,yi|w) (隠れ変数、パラメータ）の事後分布を ｒ(yn)s(w) で近似する。 p(yn,w | xn) ≒r(yn)s(w) 2018/12/31 Mathematical Learning Theory
Mathematical Learning Theory 変分ベイズ法２ ｒ(yn)s(w)と事後分布のカルバックライブラ距離の最小化する。 L(r,s)=∫∫ r(yn)s(w) log ( r(yn)s(w) / p(yn,w|xn) ) dyn dw この最小化問題は、(r,s)のどちらか一方が与えられていれば、 もう一方は解ける。・・・再帰的に解くことにする。 局所解の問題があるが、以下では L(r,s) を最小化できる場合を考える。 もしも yn と w が独立ならば、min L(r,s)=0。 変分ベイズ法だけでは min L(r,s) の値はわからない。 2018/12/31 Mathematical Learning Theory
Mathematical Learning Theory 問題１ 真２個、学習モデル２個の場合を考える。 隠れ変数とパラメータはいつ独立に近いか。 r(yn) s(w) ？ p(yn,w | xn) 2018/12/31 Mathematical Learning Theory
Mathematical Learning Theory 問題２ 真の分布が ↓ のとき 変分ベイズの結果は 2018/12/31 Mathematical Learning Theory