小暮研究会2 第1章 ベイズのアルゴリズム 1.4.ベイズ定理の構成要素 1.4.2.事前情報確率 1.4.3.事前後情報確率

Similar presentations


Presentation on theme: "小暮研究会2 第1章 ベイズのアルゴリズム 1.4.ベイズ定理の構成要素 1.4.2.事前情報確率 1.4.3.事前後情報確率"— Presentation transcript:

1 小暮研究会2 第1章 ベイズのアルゴリズム 1.4.ベイズ定理の構成要素 1.4.2.事前情報確率 1.4.3.事前後情報確率
第1章 ベイズのアルゴリズム 1.4.ベイズ定理の構成要素 1.4.2.事前情報確率 1.4.3.事前後情報確率       総合政策学部3年 堀慎太郎

2 ベイズ定理の復習 尤度 事前分布 事後分布

3 非常に曖昧で根拠のないものになってしまうのでは!?
事前情報確率 事前情報確率とは、確率分布形式において、  に対する思いを表している よって、自分が気に入るものならば何でも選んでしまう可能性がある!自分の思うような分布だけを選んで使ってもいいの? 非常に曖昧で根拠のないものになってしまうのでは!?

4 そこで・・・ ・技術的、歴史的な理由から有益になるような事前分布ものを紹介する ・これらはベイズ的手法でよく使われるものばかりである

5 そこで・・・ 技術的、歴史的な理由から有益になるような事前分布ものを紹介する
これらはベイズ的手法でよく用いられることが多い主要な事前分布である

6 事前分布の種類 仮説事前分布 包括的事前分布 自然共役事前分布 非正則事前分布 ジェフリーズの事前分布 階層事前分布
多次元パラメータの事前分布

7 仮説事前分布 事前分布を1つに絞らない 事前分布を変更した時、事後分布がどのように変化するかを調べる(尤度にも同様のことができる)
 =感度分析 事前分布 → データ → 事後分布

8 包括的事前分布 常識的に考えておかしくない事前分布(「思い」)を用いること 漠然事前分布(一様分布、均一分布)
 パラメータ領域部分に確率0を割り当てる事前分布は避けるべき どんな「思い」とも矛盾しない   =「思い」を表さない!

9 一様分布の例

10 自然共役事前分布 事前分布に尤度を掛けたとき、同じ分布族をもつ事後分布が得られるもの

11 カーネルの考え方 ランダムな変数xに対して となるような定数kが存在するとき、 は関数のカーネル(核)という
 となるような定数kが存在するとき、         は関数のカーネル(核)という カーネルは、密度関数や確率関数のどの変数に注目するかで変化する

12 EXAMPLE1.7ベルヌーイ試行パラメータの自然共役分布

13 EXAMPLE1.7ベルヌーイ試行パラメータの自然共役分布
  事後分布は・・・

14 非正則事前分布 θに対する確率分布を、標本分布Θに関して積分しても収束しないような確率分布   例:一様分布

15 なぜ非正則事前分布が重要? 事前分布が非正則分布であっても適正な事後分布が得られる →EXAMPLE1.8
事前情報が非正則分布の場合、尤度関数はほとんど無視できる →精密測定

16 EXAMPLE1.8非正則事前分布が与えられたときの正則事後分布
結論  非正則な事前分布に尤度関数を掛けると、その結果として得られる事後分布は正則である!

17 EXAMPLE1.8非正則事前分布が与えられたときの正則事後分布
平均θ、精度(バラツキ)1の正規分布で表される尤度関数を考える

18 EXAMPLE1.8非正則事前分布が与えられた時の正則事後分布
ここから、 よって、

19 EXAMPLE1.8非正則事前分布が与えられたときの正則事後分布

20 EXAMPLE1.9 精度がτに等しく平均0の正規分布に従うθの事前分布に尤度を掛ける。(指数を修正し、無意味な乗法定数を取り除く)

21 EXAMPLE1.9 式(1.22)は、

22 EXAMPLE1.9 ここから、事前分布の思いが曖昧なとき、事前分布を一様であるかのようにすることによって、実際の事後分布の思いに近似させられるということが分かる。

23 精密測定 尺度についての精度の問題 ベイズ定理より、事前分布に0という確率分布を割り当てた場合、事後分布は必ず0になる。
1.4.2で分かったように、事前情報が一様分布するときは、尤度関数はほとんど無視できる。 このような領域では、0である尤度関数を掛けても、事後分布は0となるため一様分布するような事前分布はほとんど無視することができる。

24 客観確率と初期事前情報 任意のモデルの事前分布を得る規則や、最低限、情報になりうるような規則の調査がこれまで多くなされてきた
その一人に、ジェフリーズ

25 ジェフリーズの不変事前分布 パラメータを変換しても事後分布への思いが不変になるように無情報事前分布を定義
つまり、情報の平方根に比例する事前分布を選択すること

26 ジェフリーズの事前分布 式(1.23)より、ジェフリーズの事前分布は、 yの繰り返し実現を平均した対数尤度関数を二階微分し、期待値を求めることで得られる 第二パラメータがh(θ)、例えばθがσとなり、γ=h(θ)が   となるものを想定し、これを考える

27 ジェフリーズの事前分布 ここで、

28 ジェフリーズの事前分布 (1.24)式より、

29 EXAMPLE1.10正規精度に対するジェフリーズの事前分布
二階微分すると、

30 EXAMPLE1.10正規精度に対するジェフリーズの事前分布

31 EXAMPLE1.10正規精度に対するジェフリーズの事前分布
σに関する事後分布 τに関する事後分布 τをσに置き換えると、 これは(1.25)と同一 → 不変性を裏付けている! 

32 EXAMPLE1.11 ベルヌーイ試行に対するジェフリーズの事前分布
n回のベルヌーイ試行におけるθの尤度関数 対数尤度関数を二階微分し、期待値を求める

33 EXAMPLE1.11 ベルヌーイ試行に対するジェフリーズの事前分布
よって、ジェフリーズの事前分布は   これは、ベータ関数 B(0.5 , 0.5) の確率密度関数であり、正則分布であるがUの形で表される。よって、ジェフリーズの事前分布は一様分布にはならない!

34 階層事前分布 マルチレベル・モデルのように、グループや個人ごとにパラメータを同時推定するようなランダム効果を持つモデルを扱うときは、事前分布を階層的に与えたほうがよい場合がある

35 EXAMPLE1.12 階層事前分布

36 EXAMPLE1.12 階層事前分布

37 階層事前分布の特徴 尤度と事前分布の間の関数が任意の性質を持っている ①θに対し、ハイパーパラメータψに依存する事前分布を与える
②ψに未知のパラメータと無関係な事前分布P(ψ)を与える

38 階層事前分布の特徴

39 多次元パラメータの事前分布 スカラーパラメータについての言及はこれまで多くなされてきたが、ベクトルパラメータについてはあまり明らかにされていない 多次元パラメータにおいても、尤度関数を積の形に因数分解することによって、事後分布もk個の説明変数に分解できる

40 EXAMPLE1.13 回帰モデルにおけるパラメータ分離
Exampe1.2においてθ=(α,β)となるようなαとβの二つのパラメータが 存在する場合を考える 消費と収入の関係は、

41 EXAMPLE1.13 回帰モデルにおけるパラメータ分離

42 EXAMPLE1.13 回帰モデルにおけるパラメータ分離
(1.30)を見ても分かるように、これを割って純粋 にαやβごとに整理することはできない

43 EXAMPLE1.13 回帰モデルにおけるパラメータ分離

44 EXAMPLE1.13 回帰モデルにおけるパラメータ分離
再パラメータ化された尤度の第一要素は、平均消費額を中心とした正規曲線の形をもち、第二要素は、最小二乗推定値のβを中心とした正規曲線の形をもつ

45 情報の直行化 重要な特徴 情報行列におけるパラメータ変換の効果
  情報行列におけるパラメータ変換の効果     ・尤度が何倍にも分離可能な場合は対数尤度関数        付加的に分離可能     ・対数尤度関数を対角に二階微分したものは完           全に0になる(ここではg(θ)の情報行列は        (1.32)から得られる)  つまり、情報行列を多角化するg(θ)関数を探すことで、分離可能なパラメータを探すことができる→情報の直行化という

46 事後分布 事後分布はθについての思いを表す θは事前分布の思いによって与えられ、尤度によって具体化されている
  θは事前分布の思いによって与えられ、尤度によって具体化されている 自分のモデルの結果を示すためには最終的に得られた事後分布をしめす必要がある

47 EXAMPLE1.14 ベルヌーイ試行 事前の思いが自然共役事前分布のβ族で あるとすると、形式上は

48 EXAMPLE1.14 ベルヌーイ試行

49 EXAMPLE1.14 ベルヌーイ試行


Download ppt "小暮研究会2 第1章 ベイズのアルゴリズム 1.4.ベイズ定理の構成要素 1.4.2.事前情報確率 1.4.3.事前後情報確率"

Similar presentations


Ads by Google