経営学研究科 M1年 学籍番号 speedster

Presentation on theme: "経営学研究科 M1年 学籍番号 speedster"— Presentation transcript:

1 経営学研究科 M1年 学籍番号 speedster
最尤推定法について 経営学研究科　M1年 学籍番号　speedster

2 最尤推定法（MLE) 2項分布の最尤推定 正規母集団の平均μのMLE 正規回帰モデルにおける母数のMLE
最尤法と積率推定法（MLE対MME) 最尤推定とベイジアン推定

3 2項分布の最尤推定法 コインを10回投げて4回表が出た時の表が出る確率πのMLEを求める。 π＝0.1を仮定してみる
　P(s)=(ns)πs(1－π)n－s　＝　　　　 (104)×(0,1)4×(0,9)6=0,011・・・(1) 仮定が正しいものだとすると、観測された標本が得られる確立は1％に過ぎないことが判明する。

4 L(π)＝（ns）πs（1－π）n－s・・・(3)
2項分布の最尤推定法(2) 同様にπ＝0.0～0.8までを仮定して計算した結果、π＝0.4が尤もらしいといえる（テキスト　P374　表18－1） ちなみに(1)式は10と4が固定されてるためπが唯一の変数である。 　⇒尤度関数とする。 　L(π)＝(104) π4（1－π）6・・・(2) 一般には 　L(π)＝（ns）πs（1－π）n－s・・・(3)

5 2項分布の最尤推定法(3) 最尤推定値 ⇒(2)式の尤度関数を最大にするπの値 (この場合π＝0.4）
　 ⇒(2)式の尤度関数を最大にするπの値 (この場合π＝0.4） 一般に2項分布のπのMLEは(3)式を微分することで常に標本比率Pであることが証明される。 微分についてはホワイトボードで。

6 正規母集団の平均μのMLE 母集団N(μ,σ2）から標本（X1,X2,X3)を抽出。 ⇒未知のμを見つける
　⇒未知のμを見つける 母集団は正規分布⇒Xを観測する確立は(18‐7）式になる。 X1,X2,X3が独立であると仮定 　⇒同時確立は (18‐11）式に、尤度関数は(18‐12）式になる。 μのMLEは(18‐12）を微分することでXであることが求められる（微分はホワイトボードで）

7 正規回帰モデルにおける母数のMLE Xによってμを推定する⇒最小2乗の単純な特殊ケース また、XはMLEである

8 正規回帰モデルにおける母数のMLE（2） 一般に大きさnの標本を得ると仮定すると、観測標本の確立を知る事が目的となる
P(Y1,Y2,・・・,Yn/α,β) それは母数α、βの可能な値の関数として表されている。 Yの値は独立⇒それぞれの確立の積を求めればよい。⇒（18-15,16,17）式が得られる。

9 正規回帰モデルにおける母数のMLE（3） （18-17）式において、α、βは指数関数においてのみ見られる。
負の指数を含む関数を最大にするには、指数の大きさを最小にすればよい。 最尤推定値は Σ[Yi-α-βxi]2 　 を最小にするα、βを選択すればよい。 これは最小2乗推定値a,bを選ぶ事に等しい 　 ＝正規回帰モデルでは最尤推定値は最小2乗推定値と等しいといえる。

10 任意の母集団からの任意の母数の最尤推定法
標本（X1,X2,・・・,Xn）が確立分布p(X/θ)の母集団から抽出される。 Xiは独立に確率分布p(Xi/θ)をもつ。 同時確立は P(X1,X2,・・・,Xn/θ)＝p(X1/θ)p(X2/θ)・・・P(Xn/θ) ＝　 これをθについての尤度関数 L(θ)＝ という。最尤推定値はこれを最大にするθの値である。

11 最尤法と積率推定法（MLE対MME) 任意の母集団比率を対応する標本比率で推定する方法
　⇒積率推定法（標本比率、平均に基づいて母数比率、平均を求める方法） 両者はしばしば一致するが、時に異なる時もある。⇒この時はMLEの方がMMEよりも優れている。（特に大標本の場合） 三つの漸近的性質（テキスト　P384) ただし、小標本に関してはMLEが必ずしも最良とはいえない。

12 最尤推定とベイジアン推定 (a)単純なケース 二つの値しかとらないという母数θの最尤推定値を見つける。 最尤推定法
L(θ0)＞ L(θ1)　すなわち、 P(X/θ0)＞ P(X/θ1)　となる時 推定値としてθ1よりθ0を選択する。

13 最尤推定とベイジアン推定(2) ベイジアン推定 リグレットが等しく、事前確立が等しいとすれば、
P(X/θ1)/ P(X/θ0)＜1　すなわち、 P(X/θ1)＜P(X/θ0)　となる時 θ0を採択する、という事に帰着する。 これはMLE基準と同一の解答が得られる。

14 リグレットとは・・・ 例：二種類のカブトムシ（a0：無害 a1：有害)
　 新しい地方でカブトムシが見つかったとき、このカブトムシは害虫か？無害か？ 　 ⇒殺虫剤をまくか、まかないかを決定。 殺虫剤をまかない時の損失・費用 　 ⇒無害の時＝5　有害の時＝100 殺虫剤をまく時の損失・費用 　 ⇒無害の時＝15　有害の時＝15 　 カブトムシが無害の時のリグレット　15－5＝10 　 カブトムシが有害の時のリグレット　100－15＝85

15 事前確立とは・・・ ある地方での晴れと雨の確立が60％、40％であると想定する。（事前確立） 天気予報機の導入
　 天気予報機の導入 　 ⇒10％の確立で雨の時「晴れ」と予想 　 ⇒20％の確立で晴れの時「雨」と予想 機械が「雨」と予想した時の天気の確立は？ .4×.9＝.36（雨の確立） .6×.1＝.12（晴れの確立） 　100％に換算すると、雨＝75％ 晴れ＝25％（事後確立）

16 最尤推定とベイジアン推定(3) (b)拡張：連続なθ θは連続な値域を動く。θについての事前知識が全く無いときは等確率
p(θ)＝c　（一定）　を用いる。 さらに、0‐1型損失関数を選択するものとすれば、事後分布は最頻値によって推定される。 　 ⇒テキスト P385,(18‐27,28）式 　 ※0‐1型損失関数に関してはテキスト P315~316を参照

17 最尤推定とベイジアン推定(4) (18‐28)式において最頻値を見つけるためのθを捜す。式の[]内はθに依存しない
　 ⇒p(X/θ)を最大にするθの値を求める。 ＝古典的な最尤法の定義 0-1型損失関数と「等確率」事前分布を用いるベイジアンと同じ結果を得ると結論。 両者とも容易に正当化することはできない 　 ⇒最尤法をあまり褒めたことにはならない。

18 ちなみに・・・ p(X/θ)が単峰で対象なら、平均、最頻値、中央値が一致して最尤法は3つの損失関数のいずれかを用いたベイジアン推定法と一致する。 最尤推定法は大標本では魅力ある特性（テキスト P384）を持つが、小標本では時に奇妙な結果を残すことがあるため、注意が必要である。 終わり