1 小暮研究会２ 第１章ベイジアンアルゴリズ ム ２値選択 ベルヌーイ試行 尤度原理 同一性 交換可能性 尤度についてのまとめ 環境情報学部３年 渡邊洋一.

Presentation on theme: "1 小暮研究会２ 第１章ベイジアンアルゴリズ ム ２値選択 ベルヌーイ試行 尤度原理 同一性 交換可能性 尤度についてのまとめ 環境情報学部３年 渡邊洋一."— Presentation transcript:

1 1 小暮研究会２ 第１章ベイジアンアルゴリズ ム ２値選択 ベルヌーイ試行 尤度原理 同一性 交換可能性 尤度についてのまとめ 環境情報学部３年 渡邊洋一

2 2 尤度： p(y|θ) に関する例、その３：２値 選択 ２値：経済が成長する、あるいは衰退 する このような２値（ y ）が他の変数（ x ） に依存する X が大きいとき y=1 （経済が成長） ２値変量は y=1 である確率を述べること で分布が特定できる

3 3 尤度： p(y|θ) に関する例、その３：２値 選択 X が大きいとき, より y が１になる経済モ デル X を与えた上での y の確率分布 P(Y=1|x)=p(x) (1.10)

4 4 尤度： p(y|θ) に関する例、その ３：２値選択 計量経済学的には (P(Y=1|x)=)p(x)=Φ （ βx) したがって Y は x の非線形回帰 Φ （ βx) は x の非線形関数であるからこれ は非線形回帰モデルとなる x と y に n 個の観測値が独立していると仮定 したとき尤度は確率の積として (Φ （.) は標準正規密度関数） (1.11)

5 5 尤度 :p(y|θ) とシミュレーショ ン （３）２値データの生成とプ ロット １、 n と β を選択する ２、 x の値をシミュレーションする ３、 y の値をシミュレーションする >n <- 50; beta <-0) >x <- runif(n,10,20)) >y <- rbinom(n,1,pnorm(beta*x)))

6 6 R でのプロット

7 7 ２種類の尤度のプロッ ト

8 8 ベルヌーイ試行 数学的には単純、変数間の関係を含まない ベイズの考えを説明するのに便利 N 回の実験を繰り返して成功と失敗の確率を 知る状況 条件１：試行の回数 n が指定されている 条件２： n 回の試行を通して期待値 y が一定 条件３：各々の試行が独立

9 9 ベルヌーイ試行 N 回の試行である実験が成功する（ここ では ” １ ” ）期待値が分かっているとき 条件付き確率は Y ∈ {0,1} はベクトル（ y 1,y 2,..y n ） は n 回試行中に成功した（１ だった）総数 Y が既知のとき θ に関する尤度関数は (1.12) (1.13)

10 10 ベルヌーイ試行による確率分 布 ベルヌーイ試行は二項分布としても知 られている まずベルヌーイ試行による確率分布を R でプロットしてみる (n=100,θ=0.5) > plot(dbinom(0:100,100,0.5),type="l")

11 11 ベルヌーイ分布（二項分布）の 例

12 12 ベルヌーイ試行の尤度関数 >thetaval <- seq(0,1,length=100) >n <- 51 >y <- rbinom(n,1,thetaval) >s <- sum(y) >plot(thetaval,dbeta(thetaval,s+1,n- s+1),type=“l”)

13 13 ベルヌーイ試行による尤度関数の例

14 14 興味のあるパラメータ ベルヌーイ試行では尤度を構成するあらゆる パラメータに対して興味のある多くの異なっ たパラメータを主張するのに向いている ある人が n 回のベルヌーイ試行を両者が確率 ０．５で行い s=7 回成功したとする、しかし 何回行ったかという n を教えてくれなかった とする したがって n が興味のあるパラメータ、 θ が データになる

15 15 興味のあるパラメータ N 回の試行において s 回成功するベール ヌーイ試行は２項式で ここで既知のデータ s=7,θ=1/2 を用い、 パラメータ n についての尤度を求める (1.14)

16 16 興味のあるパラメータ：プ ロット N=7,8,..,30 においてプロット N が１４付近が尤度が大きい （ s/7=7/0.5 は多くの人が推測する試行 回数） 図１．５ :N についての尤度

17 17 尤度原理 比例する２つの尤度は（同じ事前分布が与え られた下で）同じ推論結果を導かねばならな い 事後のカーネルがあれば異なる尤度が同じ事 後分布を導き、そして同じ推論を導く 事後のカーネルを得た後は、事後確率を積分 すると１になることを確実にする基準化係数 を求めるために積分 カーネル：パラメータを含まないかけ算の項を省いた確率密 度を書いたときの残ったものを分布のカーネル (kernel) とい う を行 う

18 18 尤度原理：ベイズ推定が尤度 原理をみたいしている実例 θ に関して同様の信念を持つ A,B A:n=20 回の試行で s=7 回の成功 B:s=7 まで試行、 n=20 まで試行したときに s=7 となった A の尤度は２０回のベルヌーイ試行を行った時の成功する回数の分 布 ７回目成功するのに必要な全試行回数 n の確率分布（負の２項分 布） 従って B の尤度は (1.15) (1.16) (1.17)

19 19 尤度原理：ベイズ推定が尤度 原理を満たしている実例 何回試行して何回成功したという情報 があれば、比例関係にある尤度関数か らは同じ結論が導きだされる

20 20 尤度原理：同一性 において が成立する場合 パラメータ θ は同一でなくてはいけな い

21 21 尤度原理：交換可能性 N 回のベルヌーイ試行において成功する 確率 s が等しければ成功、失敗の順番に 関らず確率 p(y) は同じである ドゥフィネッティの定理： n 回の試行に たいして成功するかどうかの確率 p(y 1,y 2,…,y n ) が かつ

22 22 尤度原理：交換可能性 交換可能性の性質の証明から尤度と事 前情報が存在することが示された このことから古典統計学のように独立 でランダムな変数を集めたと言い張る 必要がなくなった！

23 23 尤度についてのまとめ 尤度はモデルパラメータ θ についてのベ イズ統計使用者の信念を表している 尤度をどう決めるかは自由だが、それ は合理的で一貫した経済モデルと適切 な確率構造を持たなければいけない