東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka) 物理フラクチュオマティクス論 Physical Fluctuomatics 第6回 線形モデルによる統計的推定 6th Linear models and statistical inferences 東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka) kazu@smapip.is.tohoku.ac.jp http://www.smapip.is.tohoku.ac.jp/~kazu/ 本講義のWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/PhysicalFluctuomatics/2007/ 15 May, 2007 物理フラクチュオマティクス論(東北大)

田中和之著： 確率モデルによる画像処理技術入門， 森北出版，第４章，2006． 今回の講義の講義ノート 15 May, 2007 物理フラクチュオマティクス論(東北大)

ベイズの公式による確率的推論の例（１） A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． 秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる. 甘利俊一：情報理論 (ダイヤモンド社，1970) より 15 May, 2007 物理フラクチュオマティクス論(東北大)

ベイズの公式による確率的推論の例（２） 教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない． 教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない． 教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である． 15 May, 2007 物理フラクチュオマティクス論(東北大)

ベイズの公式による確率的推論の例（３） 15 May, 2007 物理フラクチュオマティクス論(東北大)

ベイズの公式による確率的推論の例（４） 15 May, 2007 物理フラクチュオマティクス論(東北大)

すべての命題に対してデータが完全かつ十分に得られている場合 統計的学習理論とデータ 観察により得られたデータから確率を求めた例 教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，悪いのは 8 回中 1 回にすぎない． すべての命題に対してデータが完全かつ十分に得られている場合 標本平均，標本分散などから確率を決定することができる． 「教授の機嫌の悪いときで，彼女の機嫌のよいとき」のデータが分からなかったらどうしよう? 不完全データ 15 May, 2007 物理フラクチュオマティクス論(東北大)

データから確率モデルの確率を推定する操作 統計的学習理論とモデル選択 データから確率モデルの確率を推定する操作 モデル選択 統計的学習理論における確率モデルのモデル選択の代表例 最尤推定に基づく定式化 不完全データにも対応 EMアルゴリズムによるアルゴリズム化 更なる拡張 確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装 赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc. 15 May, 2007 物理フラクチュオマティクス論(東北大)

最尤推定 データ パラメータ 平均μと標準偏差σが与えられたときの確率密度関数をデータ が与えられたときの平均μと分散σ2に対する尤もらしさを表す関数（尤度関数）とみなす． 極値条件 標本平均 標本分散 15 May, 2007 物理フラクチュオマティクス論(東北大)

最尤推定 データ パラメータ 極値条件 15 May, 2007 物理フラクチュオマティクス論(東北大)

最尤推定 が分からなかったらどうしよう データ ハイパパラメータ 周辺尤度 不完全データ 極値条件 パラメータ 不完全データ ベイズの公式 15 May, 2007 物理フラクチュオマティクス論(東北大)

信号処理の確率モデル 雑音 通信路 原信号 観測信号 i fi i gi ベイズの公式 15 May, 2007 物理フラクチュオマティクス論(東北大)

B：すべての最近接ノード（画素）対の集合 原信号の事前確率 画像データの場合 1次元信号データの場合 Ω：すべてのノード（画素）の集合 B：すべての最近接ノード（画素）対の集合 15 May, 2007 物理フラクチュオマティクス論(東北大)

加法的白色ガウス雑音 (Additive White Gaussian Noise) データ生成過程 加法的白色ガウス雑音 (Additive White Gaussian Noise) 15 May, 2007 物理フラクチュオマティクス論(東北大)

信号処理の確率モデル パラメータ 不完全データ データ i fi i gi ハイパパラメータ 事後確率 15 May, 2007 物理フラクチュオマティクス論(東北大)

信号処理の最尤推定 パラメータ 不完全データ データ 周辺尤度 ハイパパラメータ 極値条件 15 May, 2007 物理フラクチュオマティクス論(東北大)

最尤推定とEMアルゴリズム パラメータ 不完全データ データ 周辺尤度 Q関数 ハイパパラメータ EM アルゴリズムが収束すれば 周辺尤度の極値条件の解になる． 極値条件 15 May, 2007 物理フラクチュオマティクス論(東北大)

EM Algorithm 1次元信号のモデル選択 0.04 0.03 α(t) 0.02 0.01 127 255 100 200 Original Signal Degraded Signal Estimated Signal EM Algorithm 0.04 0.03 α(t) 0.02 0.01 α(0)=0.0001, σ(0)=100 15 May, 2007 物理フラクチュオマティクス論(東北大)

原画像 劣化画像 EMアルゴリズムと確率伝搬法 ノイズ除去のモデル選択 MSE 327 0.000611 36.30 推定画像 α(0)=0.0001 σ(0)=100 MSE 260 0.000574 34.00 15 May, 2007 物理フラクチュオマティクス論(東北大)

ガウス混合モデル 15 May, 2007 物理フラクチュオマティクス論(東北大)

ガウス混合モデルのベイズ推定 事後確率 ベイズの公式 パラメータ 不完全データ データ ハイパパラメータ 15 May, 2007 物理フラクチュオマティクス論(東北大)

ガウス混合モデルのEMアルゴリズム 周辺尤度 パラメータ 不完全データ データ ハイパパラメータ EM アルゴリズム 15 May, 2007 物理フラクチュオマティクス論(東北大)

ガウス混合モデルの数値実験 周辺確率 観測データ 観測データの ヒストグラム 推定結果 事後確率 15 May, 2007 物理フラクチュオマティクス論(東北大)

ガウス混合モデルの数値実験 ポッツモデル Gauss Mixture Model ＋Potts Model ＋EM Algorithm ＋Belief Propagation ポッツモデル 15 May, 2007 物理フラクチュオマティクス論(東北大)

ガウス混合モデルによる領域分割の数値実験 観測画像 ヒストグラム Gauss Mixture Model Gauss Mixture Model and Potts Model Belief Propagation 15 May, 2007 物理フラクチュオマティクス論(東北大)

統計的学習理論による移動体検出 a Segmentation b Detection AND c Segmentation Gauss Mixture Model and Potts Model with Belief Propagation 15 May, 2007 物理フラクチュオマティクス論(東北大)

従来はデータ収集自体が大変な作業であった ベイジアンネットとインターネット 観察により得られたデータから確率を求めた例 教授の機嫌のよいときは，8 回のうち 7 回までは秘書も機嫌がよく，悪いのは 8 回中 1 回にすぎない． アンケート調査等によるデータの収集 従来はデータ収集自体が大変な作業であった インターネットの登場により，アンケートを通して膨大なデータを一度に回収することが可能 膨大なデータから如何に効率よく本質を抽出したベイジアンネットを構成し，計算にのせるか？ 15 May, 2007 物理フラクチュオマティクス論(東北大)

項目応答理論 (Item Response Theory) 問題設定： M人の受験者に N 問の問題を出題し，採点により得られたデータから各受験者の能力と各問題の難易度を同時に推定したい． インターネット上で選択形式の試験を実施することにより，場所と採点要員の確保の手間を解消し，膨大な受験者のデータを収集することが可能． 15 May, 2007 物理フラクチュオマティクス論(東北大)

項目応答理論 (Item Response Theory) 簡単な問題設定： M 人の受験者に 1 問の問題を出題し，採点により得られたデータからその問題の難易度を同時に推定したい． q 1 2 3 i 番目の受験者が正答 Xi=1 i 番目の受験者が不正答 Xi=0 いったい何人間違えたかを数えればよい． 最尤法 M個のデータ 1 個のパラメータ 15 May, 2007 物理フラクチュオマティクス論(東北大)

項目応答理論 (Item Response Theory) 基本的な問題設定： M 人の受験者に N 問の問題を出題し，採点により得られたデータからその問題の難易度を同時に推定したい． 最尤法 パラメータの推定値 M+N個の パラメータ MN個のデータ i 番目の受験者が j 番目の問題を正答 Xij=1 i 番目の受験者が j 番目の問題を不正答 Xij=0 15 May, 2007 物理フラクチュオマティクス論(東北大)

たくさんのデータがパラメータを介して関連しながらランダムに生成 項目応答理論のグラフ表現 たくさんのデータがパラメータを介して関連しながらランダムに生成 物理的計算技法が使える 15 May, 2007 物理フラクチュオマティクス論(東北大)

「項目応答理論＋ベイジアンネット」の広い守備範囲 試験の実施によるデータの統計解析 問題の難易度 商品の人気度 受験者の能力 顧客の購買力 インターネット上の商取引におけるデータの統計解析への転用 ベイジアンネットと組み合わせることで顧客の年齢，性別，職種などの属性を考慮したWebデータマイニングシステムへの進化が期待される Web上で得られるデータの統計解析に対する強固な理論的基盤の形成 15 May, 2007 物理フラクチュオマティクス論(東北大)

まとめ 最尤推定とEMアルゴリズム ガウス混合モデル 項目応答理論 15 May, 2007 物理フラクチュオマティクス論(東北大)