東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka) 物理フラクチュオマティクス論 Physical Fluctuomatics 応用確率過程論 Applied Stochastic Process 第4回 最尤推定とEMアルゴリズム 4th Maximum likelihood estimation and EM algorithm 東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka) kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ 物理フラクチュオマティクス論(東北大)

田中和之著： 確率モデルによる画像処理技術入門， 森北出版，第４章，2006． 今回の講義の講義ノート 物理フラクチュオマティクス論(東北大)

データから確率モデルの確率を推定する操作 統計的学習理論とモデル選択 データから確率モデルの確率を推定する操作 モデル選択 統計的学習理論における確率モデルのモデル選択の代表例 最尤推定に基づく定式化 不完全データにも対応 EMアルゴリズムによるアルゴリズム化 更なる拡張 確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装 赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc. 物理フラクチュオマティクス論(東北大)

最尤推定 (Maximum Likelihood Estimation) パラメータ 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) パラメータ 1 2 3 4 5 6 7 8 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 1 2 3 4 5 6 7 8 データ 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 1 2 3 4 5 6 7 8 データ ヒストグラム 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 1 2 3 4 5 6 7 8 データ ヒストグラム 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 1 2 3 4 5 6 7 8 データ ヒストグラム 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 極値条件 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 極値条件 標本平均 標本分散 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 (Maximum Likelihood Estimation) データ パラメータ 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 極値条件 標本平均 標本分散 ヒストグラム 14 January, 2010 Hokkaido University GCOE Tutorial (Sapporo）

最尤推定 が分からなかったらどうしよう データ ハイパパラメータ 周辺尤度 不完全データ 極値条件 パラメータ 不完全データ ベイズの公式 物理フラクチュオマティクス論(東北大)

信号処理の確率モデル 雑音 i fi i gi 通信路 原信号 観測信号 ベイズの公式 物理フラクチュオマティクス論(東北大)

E：すべての最近接ノード（画素）対の集合 原信号の事前確率 i j E：すべての最近接ノード（画素）対の集合 1次元信号データの場合 画像データの場合 1 2 3 4 5 1 2 3 4 6 7 8 9 21 22 23 24 5 10 25 11 12 13 14 16 17 18 19 15 20 = 1 2 X 2 3 X 3 4 X 4 5 物理フラクチュオマティクス論(東北大)

加法的白色ガウス雑音 (Additive White Gaussian Noise) データ生成過程 加法的白色ガウス雑音 (Additive White Gaussian Noise) V：すべてのノード（画素）の集合 物理フラクチュオマティクス論(東北大)

信号処理の確率モデル パラメータ 不完全データ データ i fi i gi ハイパパラメータ 事後確率 物理フラクチュオマティクス論(東北大)

信号処理の最尤推定 パラメータ 不完全データ データ 周辺尤度 ハイパパラメータ 極値条件 物理フラクチュオマティクス論(東北大)

最尤推定とEMアルゴリズム パラメータ 不完全データ データ 周辺尤度 Q関数 ハイパパラメータ EM アルゴリズムが収束すれば 周辺尤度の極値条件の解になる． 極値条件 物理フラクチュオマティクス論(東北大)

EM Algorithm 1次元信号のモデル選択 0.04 0.03 α(t) 0.02 0.01 127 255 100 200 Original Signal Degraded Signal Estimated Signal EM Algorithm 0.04 0.03 α(t) 0.02 0.01 α(0)=0.0001, σ(0)=100 物理フラクチュオマティクス論(東北大)

原画像 劣化画像 EMアルゴリズムと確率伝搬法 ノイズ除去のモデル選択 MSE 327 0.000611 36.30 推定画像 α(0)=0.0001 σ(0)=100 MSE 260 0.000574 34.00 物理フラクチュオマティクス論(東北大)

まとめ 最尤推定とEMアルゴリズム ガウシアングラフィカルモデルによる統計的推定 物理フラクチュオマティクス論(東北大)

演習問題4ー1 , N個のデータgi (i=0,1,...,N-1) が確率密度関数 に従って生成されたものとする．このとき，最尤推定 ,　 ,　 N個のデータgi (i=0,1,...,N-1) が確率密度関数 , に従って生成されたものとする．このとき，最尤推定 , による平均 m と分散 s2 の推定値 が次式で与えられることを示せ． 物理フラクチュオマティクス論(東北大)