ベイジアンネットワーク概説 第3章　ベイジアンネットワークモデルの 　　　　　数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史.

Presentation on theme: "ベイジアンネットワーク概説 第3章　ベイジアンネットワークモデルの 　　　　　数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史."— Presentation transcript:

1 ベイジアンネットワーク概説 第3章　ベイジアンネットワークモデルの 　　　　　数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史

2 3.5.1 情報量基準 現象を説明する複数のモデルがあった場合、どのモデルがよいか/選択すべきか？ 　→ 情報量基準を基に選択 　　(1)　期待対数尤度からのアプローチ 　　　　　　例：AIC、TIC、CAIC 　　(2)　予測分布からのベイズアプローチ 　　　　　　例：BIC、MDL、ABIC

3 最適なモデルとは → AICを最小にするモデル (尤度大、パラメータ数少)
3.5.1 情報量基準：　最大対数尤度利用 （1） ■ AIC (Akaike information criterion)： データとの適合度 （モデルのあてはめ誤差) パラメータ数多のペナルティ （モデルの複雑さ) (3.8) ※2は対数尤度比検定との兼ね合いから 最適なモデルとは → AICを最小にするモデル 　　　　　　　　　　　　　(尤度大、パラメータ数少)

4 ※ J=Rのとき tr{J-1R}=km となりAICに一致
3.5.1 情報量基準：　最大対数尤度利用 （2） ■ TIC (Takeuchi information criterion)： パラメータ数多のペナルティをAICより精密に評価 (3.9) ※ J=Rのとき tr{J-1R}=km　となりAICに一致

5 －問題点－ AIC、TICは漸近的一致性(データ数N→∞で推定値 m/θ→真の値 m*/θ*)が欠如
3.5.1 情報量基準：　最大対数尤度利用 （3） －問題点－ AIC、TICは漸近的一致性(データ数N→∞で推定値 m/θ→真の値 m*/θ*)が欠如 ■ CAIC (consistent Akaike information criterion)： (3.10) パラメータ数多のペナルティはデータ数Nに依存

6 モデルの集合(ありうるモデルの集まり)を考える モデルmに対し、(モデルの集合上の)事前分布p(m)が与えられた場合の事後分布
3.5.1 情報量基準：　ベイズ的アプローチ （1） ーベイズ的アプローチによる情報量基準ー 最大対数尤度を介さない モデルの集合(ありうるモデルの集まり)を考える モデルmに対し、(モデルの集合上の)事前分布p(m)が与えられた場合の事後分布 パラメータの重み(事前分布) 予測分布： → －E[log p(m|X)]最小のモデルを選択

7 3.5.1 情報量基準：　ベイズ的アプローチ （2） ■ BIC (Bayesian information criterion)： (3.11) 情報理論的アプローチからのMDL　(minimum description length)基準に一致 [事前分布(条件付確率)の積極的解釈] 漸近的一致性をもつ

8 3.5.2 数値例 (1) 癌転移 1 血清中のカルシ ウム量の増加 2 3 脳腫瘍 4 5 昏睡状態 激しい頭痛
図3.1 ベイジアンネットワークの因果モデル例

9 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定
3.5.2 数値例 （2） 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定

10 3.5.3 ベイジアンネットワークの予測分布 （1） モデルの予測分布が解析的に求まれば、高精度のモデルを選択可能な情報量基準を作成することができる ■ 事前分布p(Θ|Bs)が一様分布であるとしたときの予測分布 (3.12) (3.13)

11 ■ 事前分布p(Θ|Bs)がディレクレ分布であるとしたときの予測分布
3.5.3 ベイジアンネットワークの予測分布 （2） ■ 事前分布p(Θ|Bs)がディレクレ分布であるとしたときの予測分布 (3.14) → 式(3.14) = 式(3.13)

12 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定した場合の予測分布
3.5.4 数値例 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定した場合の予測分布 データ数が少ない場合、観測されない変数のパターンが出現(Nijk=0)し、計算が困難な場合がある