Mathematical Learning Theory Expectation and Minimization Algorithm 渡辺澄夫 今日は、少し数式を使います・・・。 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory 混合正規分布 K k=1 ∑ ak = 1 w = (ak , bk ,σk) K k=1 1 (2πσk2)N/2 || x – bk ||2 2σk2 p(x|w) = ∑ ak 　　　　　exp( － ) 平均 bk ,分散σk2 の 　　　　　　正規分布 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory 山の大きさ形は同じで 中心だけ最適化 w = (bk ) ak =1/K , σk=1 (1) ●初期化 (2) ●　分類 (3) ●を●へ移動 繰り返し 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory 隠れ変数（潜在変数） K k=1 　　1 (2πσk2)N/2 || x – bk ||2 2σk2 p(x|w) = ∑ ak 　　　　　exp( － ) y について周辺化 K k=1 　　1 (2πσk2)N/2 || x – bk ||2 2σk2 p(x,y|w) = Π [ ak 　　　　　exp( － ) ] yk y = (y1,y2,..,yK) は、どれかひとつだけ１で残りは０ 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory 隠れ変数　<=　確率競合 K k=1 　　1 (2πσk2)N/2 || x – bk ||2 2σk2 p(x,y|w) = Π [ ak 　　　　　exp( － ) ] yk K k=1 (定数項は省略） = exp[－Σ yk {||x-bk||2/2σk2 – Nlogσk+ log ak｝] ついたり消えたり 　　　⇒平均すると混合分布 (y1,y2,..,yK) = (1,0,..,0), (0,1,0,..,0), ..,(0,0,..,1) 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory 準備 任意の w1 , w2 について ∫ p(y| w1) log p(y|w2) dy≦∫ p(y| w1) log p(y|w1) dy なぜならカルバック情報量の性質 ∫ p(y| w1) log [p(y|w1)/ p(y|w2) ] dx ≧0 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory L(w)=Σ log p(xi|w) を最大にする w を求めたい 方法 n i=1 G(w1,w2)=Σ　Σy p(y| xi, w1) log p(xi,y | w2) w1 初期化 (2) G(w1,w2)を w2 について最大化(w1 固定） (3) w１ ：＝w２　として(2)に戻る。 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory G*(w1,w2)= G(w1,w2)－ΣΣy p(y| xi, w1) log p(y|xi, w1) n i=1 ＝ΣΣy p(y| xi, w1) { log p(xi,y | w2)ー log p(y|xi, w1)｝ n i=1 =ΣΣy p(y| xi, w1) {log p(xi | w2) +log p(y|xi, w2) －log p(y|xi, w1) } n i=1 n i=1 p(y|xi, w2) p(y|xi, w1) =Σlog p(xi | w2) + ΣΣy p(y| xi, w1) log 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory G*(w1,w2)= G(w1,w2)－ΣΣy p(y| xi, w1) log p(y|xi, w1) n i=1 n i=1 p(y|xi, w2) p(y|xi, w1) =Σlog p(xi | w2) + ΣΣy p(y| xi, w1) log L(w2 ) w2=w1 のとき最大 L(w) がw*で最大⇔ G*(w1,w2)がw1=w2 =w*で最大 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory G*(w1,w2)= G(w1,w2)－ΣΣy p(y| xi, w1) log p(y|xi, w1) n i=1 n i=1 p(y|xi, w2) p(y|xi, w1) =Σlog p(xi | w2) + ΣΣy p(y| xi, w1) log w1 初期化 (2) G(w1,w2)を w2 について最大化 (3) w１ ：＝w２　として(2)に戻る。 G*(w1,w2)増加 G*(w1,w2)増加 G*(w1,w2)は増加L(w1) が大きくなっていく。 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory G(w1,w2)=Σ　Σy p(y| xi, w1) log p(xi,y | w2) K k=1 log p(x,y|w) = －Σ yk {||x-bk||2/2σk2 – Nlogσk+ log ak｝ Σy yk p(y| xi, w) = Σy yk p(xi, y| w)/p(xi|w) || xi – bk ||2 2σk2 　　1 (2πσk2)N/2 = ak 　　　　　exp( － ) = E[yk| xi , w] p(xi|w1) とおく 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory G(w1,w2)=Σ　Σy p(y| xi, w1) log p(xi,y | w2) n i=1 K k=1 =－Σ　Σ E[yk| xi , w1]{||x-bk||2/2σk2 – Nlogσk+ log ak｝ w1 が与えられたもとでこれを最大化 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory Σ E[yk| xi , w1] ak = Σ 1 w1 → w2 が 計算できる Σ E[yk| xi , w1] xi bk= Σ E[yk| xi , w1] Σ E[yk| xi , w1] || xi － bk || 2 　σk2 = NΣ E[yk| xi , w1] 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory || xi – bk ||2 2σk2 　　1 (2πσk2)N/2 E[yk| xi , w] = ak 　　　　　exp( － ) p(xi|w1) データ xi が　k 番目の コンポーネントから出た確率 bk ak 面積 σk xi 2018/12/31 Mathematical Learning Theory

Mathematical Learning Theory 問題 EMアルゴリズムを1回動かすと 各パラメータは、どのようになるか図示せよ。 b1 b2 a1 面積 σ1 a2 σ2 2018/12/31 Mathematical Learning Theory