Presentation is loading. Please wait.

Presentation is loading. Please wait.

ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの      数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史.

Similar presentations


Presentation on theme: "ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの      数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史."— Presentation transcript:

1 ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの      数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史

2 3.5.1 情報量基準 現象を説明する複数のモデルがあった場合、どのモデルがよいか/選択すべきか?  → 情報量基準を基に選択   (1) 期待対数尤度からのアプローチ       例:AIC、TIC、CAIC   (2) 予測分布からのベイズアプローチ       例:BIC、MDL、ABIC

3 最適なモデルとは → AICを最小にするモデル (尤度大、パラメータ数少)
3.5.1 情報量基準: 最大対数尤度利用 (1) ■ AIC (Akaike information criterion): データとの適合度 (モデルのあてはめ誤差) パラメータ数多のペナルティ (モデルの複雑さ) (3.8) ※2は対数尤度比検定との兼ね合いから 最適なモデルとは → AICを最小にするモデル              (尤度大、パラメータ数少)

4 ※ J=Rのとき tr{J-1R}=km となりAICに一致
3.5.1 情報量基準: 最大対数尤度利用 (2) ■ TIC (Takeuchi information criterion): パラメータ数多のペナルティをAICより精密に評価 (3.9) ※ J=Rのとき tr{J-1R}=km となりAICに一致

5 -問題点- AIC、TICは漸近的一致性(データ数N→∞で推定値 m/θ→真の値 m*/θ*)が欠如
3.5.1 情報量基準: 最大対数尤度利用 (3) -問題点- AIC、TICは漸近的一致性(データ数N→∞で推定値 m/θ→真の値 m*/θ*)が欠如 ■ CAIC (consistent Akaike information criterion): (3.10) パラメータ数多のペナルティはデータ数Nに依存

6 モデルの集合(ありうるモデルの集まり)を考える モデルmに対し、(モデルの集合上の)事前分布p(m)が与えられた場合の事後分布
3.5.1 情報量基準: ベイズ的アプローチ (1) ーベイズ的アプローチによる情報量基準ー 最大対数尤度を介さない モデルの集合(ありうるモデルの集まり)を考える モデルmに対し、(モデルの集合上の)事前分布p(m)が与えられた場合の事後分布 パラメータの重み(事前分布) 予測分布: → -E[log p(m|X)]最小のモデルを選択

7 3.5.1 情報量基準: ベイズ的アプローチ (2) ■ BIC (Bayesian information criterion): (3.11) 情報理論的アプローチからのMDL (minimum description length)基準に一致 [事前分布(条件付確率)の積極的解釈] 漸近的一致性をもつ

8 3.5.2 数値例 (1) 癌転移 1 血清中のカルシ ウム量の増加 2 3 脳腫瘍 4 5 昏睡状態 激しい頭痛
図3.1 ベイジアンネットワークの因果モデル例

9 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定
3.5.2 数値例 (2) 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定

10 3.5.3 ベイジアンネットワークの予測分布 (1) モデルの予測分布が解析的に求まれば、高精度のモデルを選択可能な情報量基準を作成することができる ■ 事前分布p(Θ|Bs)が一様分布であるとしたときの予測分布 (3.12) (3.13)

11 ■ 事前分布p(Θ|Bs)がディレクレ分布であるとしたときの予測分布
3.5.3 ベイジアンネットワークの予測分布 (2) ■ 事前分布p(Θ|Bs)がディレクレ分布であるとしたときの予測分布 (3.14) → 式(3.14) = 式(3.13)

12 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定した場合の予測分布
3.5.4 数値例 図3.1+表3.1でN'ijk=1(事前分布に一様分布)を仮定した場合の予測分布 データ数が少ない場合、観測されない変数のパターンが出現(Nijk=0)し、計算が困難な場合がある


Download ppt "ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの      数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史."

Similar presentations


Ads by Google