数理統計学(第五回） 統計的推測とは？ 浜田知久馬 数理統計学第５回.

Presentation on theme: "数理統計学(第五回） 統計的推測とは？ 浜田知久馬 数理統計学第５回."— Presentation transcript:

1 数理統計学(第五回） 統計的推測とは？ 浜田知久馬 数理統計学第５回

2 確率分布 数理統計学で確率分布を勉強． 確率分布は便利 確率分布がわかれば,様々な事象を確率的に記述できる．（同時,周辺,条件付）
確率分布は母数によって定まる． 母数をどう求めればよいのか？ 数理統計学第５回

3 推定の問題 ある目的で,ある確率変数Yをｎ回観測し, 標本Y=(Y1, Y2,・・・, Yｎ)を得る.
　「分布を規定する母数は未知である」 「標本Yの実現値ｙに基づいて未知母数の真の値がいくらであるか評価,断定する問題を「推定の問題」という. 数理統計学第５回

4 ダーウィンの植物の丈の データ（単位インチ）
─────────────────────────────── 　Ｎｏ．自家受精 　他家受精 Ｎｏ．自家受精 　他家受精 　 1　　　17.375　　　 　 　9　　16.5　　 　 2　　　20.375　　　 12 　　　 　 18　　　　21.625 　 3　　　20　　　　　 　 　　 　 4　　　20　　　　　 　 18　　　　21 　 5　　　18.375　　　 　 　　 　 6　　　18.625　　　 　 　　　 23 　 7　　　18.625　　　 　 18　　　 12 　 8　　　15.25 　　　 　平均　　17.708　　 　20.192 標準偏差　 2.024　　　 数理統計学第５回

5 数理統計学第５回

6 母数推定の前提 自家受精群と他家受精群に別々の正規分布をあてはめ ｎ個（ｎ＝１５）の確率変数Ｙｉが互いに独立に同一の正規分布にしたがう
Ｙ１ ,Ｙ２ ,Ｙ３ ,・・・，Ｙｎ ～Ｎ（μ,σ２） i.i.d.（independent identically distributed） 数理統計学第５回

7 点推定 一つの答え方： 観測変数 Y の統計量 t(Y) を一つ用意
　ある未知母数 b の真の値を推定したいという問題を考える． 一つの答え方： 　観測変数 Y の統計量 t(Y) を一つ用意 　観測値がデータ y として得られたら，そのデータを代入して得られる関数値 t(y) が 　　　「母数 b の真の値である」　と断定 このような方式を「（点）推定」estimation と言う， 数理統計学第５回

8 推定と推定量 　推定に使う関数 t(Y) を「推定量」 estimator，データを代入して得られる値 t(y) を「推定値」 estimate という． 推定の問題において，数理統計学が問題にすることは，どんなやり方が良いかである． どんな推定量が良い推定量？ 数理統計学第５回

9 区間推定 別の答え方 2つの統計量tL(Y), tU(Y)を用意する.
Yの実現値ｙを得たら,それを代入して得られる値tL(ｙ)～tU(ｙ)の範囲に真の値があるとする. このような形式を「区間推定」 　interval　estimationという. 数理統計学第５回

10 良い推定量の規準 不偏性とは？分散最小性とは？ 良さを議論するには規準 criterion が必要
一つの視点： 定性的，資格条件を限定しておいて，その中である規準量が最大（あるいは最小）となるものを良いものとする． たとえば？ 定性的条件：不偏性，線形性 定量的規準：分散最小性 不偏性とは？分散最小性とは？ 数理統計学第５回

11 精度, 偏り，正確さ 不偏で精密 偏りあるけど精密 不偏だけど精密でない　　　　偏りありかつ 　　　　　　　　　　　　　　　　　　 精密でない 数理統計学第５回

12 点推定の良さの基準 βの推定量ｂがあるとする.
推定量の良さの基準で最も一般的なのは平均二乗誤差(Mean Square Error：MSE) MSE=E[(b－β)2] = E[(b－β)2]＝ E[(b－Ｅ[b]－β＋Ｅ[b])2] = E[(b－Ｅ[b])2]+ E[(Ｅ[b]－β)2] 　+2(Ｅ[b]－β) E[b－Ｅ[b]] 　 数理統計学第５回

13 ＭＳＥ MSE=E[(b－Ｅ[b])2]+ E[(Ｅ[b]－β)2] Ｖ[b] ｂｉａｓ 推定量の分散 推定量の偏り
　　　　推定量の分散　推定量の偏り 両方を同時に最適化できるか？ 分散を0　→　常にｂ＝0　　Ｖ[b]=0　　　　　　 数理統計学第５回

14 推定での方法論的課題 どんな推定量が良い推定量？ 定性的条件,例えば 不偏性＝期待値が未知母数に一致 線形性＝推定量がYの線形式を
　不偏性＝期待値が未知母数に一致 　線形性＝推定量がYの線形式を 　満たすものの中で ある規準量,例えば分散を最小(最良,有効）にするものを良いとする⇒最良線形不偏推定量 数理統計学第５回

15 最良線形不偏推定量を求める方法はあるか？
一般的な方法はない. 　存在しないことも多い. 原理的に良い推定量を導きやすい原理は？ 　・最尤法 　・最小2乗法 　・モーメント法 数理統計学第５回

16 クラメル・ラオ(Cramer-Rao)の不等式
数理統計学第５回

17 クラメル・ラオ(Cramer-Rao)の不等式
不偏推定量の分散の下限についての不等式 (不偏推定量の分散はこれより小さくならない） θを不偏推定量とすると V[θ]≧1/I I：フイッシャーの情報量(Fisher information) 等号が成り立つ場合は,不偏推定量の中で 分散が最小（有効）となる. ＾ ＾ 数理統計学第５回

18 証明にあたって利用すること 不偏推定量の定義 E[θ（Y)]=θ 確率密度関数の和は１ ∫ｆ(ｙ,θ) ｄｙ=1
＾ 不偏推定量の定義　E[θ（Y)]=θ 確率密度関数の和は１ 　∫ｆ(ｙ,θ) ｄｙ=1 E[B]=0のとき, E[A・B]=Cov [A,B] ,V[B]= E[B2] 　　　｛Cov [A,B] = E[A・B]－E[A] E[B]｝ 4) 5）微分と積分の交換可能性 6）　Cov [A,B]≦V[A] V[B] 　　相関係数の絶対値は１を越えない 数理統計学第５回

19 クラメル・ラオ(Cramer-Rao)の不等式
不偏であるためにはθが1単位増加すれば期待値も1増加する 数理統計学第５回

20 クラメル・ラオ(Cramer-Rao)の不等式
積分と微分の交換可能性，傾きの期待値は0 θを動かしても確率密度の和は不変 数理統計学第５回

21 クラメル・ラオ(Cramer-Rao)の不等式
数理統計学第５回

22 クラメル・ラオ(Cramer-Rao)の不等式
不偏推定量θの分散が, V[θ]＝1/I を満たせば, θは 一様最小分散不偏推定量 (Uniformly Minimum Variance Unbiased estimator, UMVU) である. ＾ ＾ ＾ 数理統計学第５回

23 2項分布の場合 数理統計学第５回

24 2項分布の場合 数理統計学第５回

25 最尤法(Maximum Likelihood method）
確率が最大の母数の値は,観測値Yの関数 　これを未知母数の推定量とする. 最尤法,得られる推定量が最尤推定量 　確率が最大になるように推定 　(MLE：Maximum Likelihood Estimator) 数理統計学第５回

26 最小二乗法 観測変数Yの値と,モデルから予測される差の2乗和を最小にする母数の値を推定量とする方法 Σ（Yi－β0－β1Xi）2
を最小にするようにβ0とβ1を推定 数理統計学第５回

27 最小2乗法の模式図 × Y=β0+β1X Ｙ Ｘ Ｘ × × 数理統計学第５回 Ｘ

28 モーメント法 分布のモーメントを,次数の低い方から未知母数の数ｐだけ求め,それを対応する標本モーメントと等しいとおき,母数の推定量を構成する方法を“モーメント法”(moment　method)という 分布の期待値＝データの平均 E[X]＝μ　：Σｘi／N 分布の２次モーメント＝データの２乗和 E[X2]＝μ2 +σ2 ：Σｘi2／N 数理統計学第５回

29 用語 最尤原理（maximum likelihood principle） 最尤法（maximum likelihood method）
最尤推定量（maximum likelihood estimator） 尤度（likelihood) 対数尤度(log likelihood) Fisherの情報量（Fisher's information） 数理統計学第５回

30 尤度，最尤推定量，Fisherの情報量 尤度（likelihood) :尤（もっともらし）さの程度 を確率で評価した指標
　　　　　　　 を確率で評価した指標 最尤推定量:尤度が最大になるように母数 　　　　 　を推定する原理 Fisherの情報量：最尤推定量の推定精度を 　　　　　　　 測る指標　　　　　 数理統計学第５回

31 最尤推定の例 コインを10回投げて7回表が出たとする. このような事象が起きる確率は？ 確率分布として
2項分布B(ｎ＝10,π）を仮定すると ｐ＝10Cｙπｙ（1－π）10-ｙ 確率ｐは母数πの関数である.確率を母数の関数と考えたのが尤度（L：likelihood) 確率関数：πを固定したｙの関数 尤度関数： ｙを固定したπの関数　 数理統計学第５回

32 最らしいπは？ 　　 π 確率 数理統計学第５回

33 尤度の計算プログラム data q6; do phi=0.10 to 0.90 by 0.02;
l=10*9*8/(3*2*1)*phi**7*(1-phi)**3; output;end; proc gplot; plot l*phi/href=0.7; symbol1 i=spline v=none h=4 w=4; run; 数理統計学第５回

34 πの関数の尤度 数理統計学第５回

35 最尤推定 尤度(L）を最大にするように母数を求める. 尤度の最大化 ⇒ 対数尤度の最大化 母数空間の全てのπについてLを計算するか？
尤度の最大化　⇒　対数尤度の最大化 母数空間の全てのπについてLを計算するか？ 山の頂上では傾き0 対数尤度をπで微分して導関数を求め, 導関数が0になるπを求める. 数理統計学第５回

36 西遊記 ひたすら西を目指す． 数理統計学第５回

37 最尤法 ひたすら山の頂上を目指す． 数理統計学第５回

38 山の頂上にいるのは？ 数理統計学第５回

39 最尤推定量の誘導１ 数理統計学第５回

40 最尤推定量の誘導２ 数理統計学第５回

41 コインを100回投げて70回表 が出たときの尤度 数理統計学第５回

42 演習問題 ポアソン分布の推測 ポアソン分布の確率関数ｐ(ｘ)は， ｐ(ｘ)＝λｘ・exp(－λ)／ｘ！
演習問題　ポアソン分布の推測 ポアソン分布の確率関数ｐ(ｘ)は， ｐ(ｘ)＝λｘ・exp(－λ)／ｘ！ となる.λが母数であり，ｘは確率変数の実現値で０、１、２・・・の値をとるものとする． 1)λ＝１のとき，Ｘが１以上の値をとる確率を計算せよ．ヒント　ｅｘｐ（1)=2.718 2)お年玉付年賀状の当たり数がｘ＝5となった.当たり数の分布にポアソン分布を仮定して，このようなデータが得られた場合の尤度と対数尤度を計算せよ． 3)対数尤度を，λで微分せよ．また１次微分関数の値が0になるようにλを求めよ． 数理統計学第５回