尤度関数と対数尤度関数 最尤推定 対数尤度関数の形状

尤度 𝑦=1 のときの確率を 𝑝 とし、𝑦=0 のときの確率を 1−𝑝とすると 𝑦 が得られる尤度は以下のようにあらわされる。 𝑙 𝑖 = 𝑝 𝑖 𝑦 𝑖 1− 𝑝 𝑖 1− 𝑦 𝑖 尤度と確率の違い 確率はある事象が起こる相対度数　比率　として理解することができる 尤度は　出現する事象が観測するまで未確定であり、観測した後に特定される事象の確率と言い換えることもできる つまり尤度は事象を特定できない状況において、出現する可能性のある事象ごとに準備している値であり、その値はそれぞれの事象の確率に等しい

尤度関数 𝐿= 𝑙 1 × 𝑙 2 ×⋯× 𝑙 𝑛 = 𝑖=1 𝑛 𝑙 𝑖 得られた 𝑛 個の観測値がそれぞれ独立な確率であるとみなし、 同時確率を算出する。 𝑛 個の同時確率を表す関数を尤度関数と呼ぶ 尤度関数は 𝑙𝑖 の積で求められる。 𝐿= 𝑙 1 × 𝑙 2 ×⋯× 𝑙 𝑛 = 𝑖=1 𝑛 𝑙 𝑖 観測後　尤度は確率と同じ値を持つが、この値を　独立な確率とみなし 同時確率を算出する この同時確率とみなされた尤度の積を尤度関数と呼ぶ

尤度関数の対数変換 尤度関数は 0 ≤ 𝑙𝑖 ≤ 1の積であるため極めて微小な値(ゼ ロに限りなく近い値)となることが少なくない。 そこで尤度関数を対数変換したものが利用される。 対数関数は単調関数なので、尤度関数を最大化するパラ メータは対数尤度関数を最大化するパラメータに一致する。 .99の100乗　は　0.3660323412 .90の100乗　は　0.0000265613 .95の100乗　は　0.0059205292 .80の100乗　は　0.0000000002

ln(𝐿)= 𝑖=1 3 𝑦 𝑖 ln 𝑝 𝑖 + 1− 𝑦 𝑖 ln 1−𝑝 𝑖 問題 尤度関数を対数変換しなさい 𝐿= 𝑖=1 3 𝑝 𝑖 𝑦 𝑖 1− 𝑝 𝑖 1− 𝑦 𝑖 ln(𝐿)= 𝑖=1 3 𝑦 𝑖 ln 𝑝 𝑖 + 1− 𝑦 𝑖 ln 1−𝑝 𝑖

問題 𝑝 𝑖 = 1 1+ exp − 𝛼+𝛽 𝑥 𝑖 とする。1− 𝑝 𝑖 を求めなさい。 1− 𝑝 𝑖 = 1 1+ exp 𝛼+𝛽𝑥

ロジスティック分布による 尤度関数と対数尤度関数 𝐿= 𝑖=1 𝑛 1 1+ exp − 𝛼+𝛽𝑥 𝑦 𝑖 1 1+ exp 𝛼+𝛽𝑥 1−𝑦 𝑖 ln(𝐿)= 𝑖=1 𝑛 𝑦 𝑖 ln 1 1+ exp − 𝛼+𝛽𝑥 + 1− 𝑦 𝑖 ln 1 1+ exp 𝛼+𝛽𝑥

数値例（再掲） 加熱時間(𝑥) 不良品(𝑦=1) 正常(𝑦=0) 10 2 98 11 8 92 12 27 73 13 62 38 14 88 15 97 3 16 99 1

𝑥 ごとの対数尤度関数 2× ln 1 1+ exp − 𝛼+10𝛽 +99×ln⁡ 1 1+exp⁡ 𝛼+10𝛽 𝑥=10 2× ln 1 1+ exp − 𝛼+10𝛽 +99×ln⁡ 1 1+exp⁡ 𝛼+10𝛽 𝑥=11 8× ln 1 1+ exp − 𝛼+11𝛽 +92×ln⁡⁡ 1 1+exp⁡ 𝛼+11𝛽 𝑥=12 27× ln 1 1+ exp − 𝛼+12𝛽 +73×ln⁡⁡ 1 1+exp⁡ 𝛼+12𝛽 𝑥=13 62× ln 1 1+ exp − 𝛼+13𝛽 +38×ln⁡⁡ 1 1+exp⁡ 𝛼+13𝛽 𝑥=14 88× ln 1 1+ exp − 𝛼+14𝛽 +12×ln⁡⁡ 1 1+exp⁡ 𝛼+14𝛽 𝑥=15 97× ln 1 1+ exp − 𝛼+15𝛽 +3×ln⁡⁡ 1 1+exp⁡ 𝛼+15𝛽 𝑥=16 99× ln 1 1+ exp − 𝛼+16𝛽 +1×ln⁡⁡ 1 1+exp⁡ 𝛼+16𝛽

𝑥=10 β α

𝑥=11 β α

𝑥=12 β α

𝑥=13 β α

𝑥=14 β α

𝑥=15 β α

𝑥=16 β α

𝑥別の尤度関数の最大値 𝑥 最大値与えるパラメータ 𝑥=10 𝛼+10𝛽=−3.8918 𝑥=11 𝛼+11𝛽=−2.4423 𝑥=12 𝛼+12𝛽=−0.9946 𝑥=13 𝛼+13𝛽=+0.4895 𝑥=14 𝛼+14𝛽=+1.9924 𝑥=15 𝛼+15𝛽=+3.4761 𝑥=16 𝛼+16𝛽=+4.5951

最尤推定値の最大値 単調増加関数と単調減少関数の和

単調増加関数と単調増加関数の和は単調増加関数となる 𝑓(𝑥) 𝑔(𝑥) は共に単調増加関数とする。 ℎ>0 とすると 𝑓(𝑥)<𝑓(𝑥+ℎ)となる。 ここで𝑓(𝑥)の変化量を∆𝑓>0とすると 𝑓 𝑥+ℎ =𝑓 𝑥 +∆ 𝑓 同様に 𝑔(𝑥)<𝑔(𝑥+ℎ) であり、 𝑔(𝑥)の変化量を∆𝑔>0 とすると 𝑔(𝑥+ℎ)=𝑔(𝑥)+∆𝑔 従って 𝑓 𝑥 +𝑔 𝑥 < 𝑓 𝑥 +∆𝑓 + 𝑔 𝑥 +∆𝑔 =𝑓 𝑥+ℎ +𝑔 𝑥+ℎ なので𝑓(𝑥)+𝑔(𝑥) も単調増加関数となる。 単調増加関数と単調増加関数の和は　単調増加関数　となる

単調減少関数の和 問題 単調減少関数と単調減少関数の和が 単調減少関数となることを証明しなさい 𝑓(𝑥) 𝑔(𝑥) は共に単調減少関数とする。 ℎ>0 とすると 𝑓 𝑥 >𝑓(𝑥+ℎ)となる。 ここで𝑓(𝑥)の変化量を∆𝑓<0とすると 𝑓 𝑥+ℎ =𝑓 𝑥 +∆ 𝑓 同様に 𝑔 𝑥 >𝑔(𝑥+ℎ) であり、 𝑔(𝑥)の変化量を∆𝑔<0 とすると 𝑔(𝑥+ℎ)=𝑔(𝑥)+∆𝑔 従って 𝑓 𝑥 +𝑔 𝑥 >𝑓 𝑥 +𝑔 𝑥 +∆𝑓+∆𝑔=𝑓 𝑥+ℎ +𝑔 𝑥+ℎ なので𝑓(𝑥)+𝑔(𝑥) も単調減少関数となる。 単調減少関数と単調減少関数の和は　単調減少関数　となる

尤度と対数尤度 𝑙 𝑖 = 𝑝 𝑖 𝑦 𝑖 1− 𝑝 𝑖 1−𝑦 𝑖 尤度は 𝑙 𝑖 = 𝑝 𝑖 𝑦 𝑖 1− 𝑝 𝑖 1−𝑦 𝑖 なので、対数尤度は ln 𝑙 𝑖 = 𝑦 𝑖 ln 𝑝 𝑖 + 1−𝑦 𝑖 ln 1− 𝑝 𝑖 となる。 とする。尤度を対数変換しなさい。

対数尤度の傾向 ln 𝑙 𝑖 = 𝑦 𝑖 ln 𝑝 𝑖 + 1−𝑦 𝑖 ln 1− 𝑝 𝑖 𝑝 𝑖 が増加関数なら1− 𝑝 𝑖 は減少関数であり 𝑝 𝑖 が減少関数なら1− 𝑝 𝑖 は増加関数である。 対数尤度は ln 𝑙 𝑖 = 𝑦 𝑖 ln 𝑝 𝑖 + 1−𝑦 𝑖 ln 1− 𝑝 𝑖 なので 𝑦 𝑖 ＝1 ならば 𝑝 𝑖 が増加関数ならln⁡( 𝑙 𝑖 ) は増加関数であり 𝑝 𝑖 が減少関数ならln⁡( 𝑙 𝑖 ) は減少関数となる。 𝑦 𝑖 ＝0 ならば 𝑝 𝑖 が増加関数ならln⁡( 𝑙 𝑖 ) は減少関数であり 𝑝 𝑖 が減少関数ならln⁡( 𝑙 𝑖 ) は増加関数となる。 尤度はパラメータにかんして単調増加　か　単調減少　関数となる

数値例 ロジスティック分布の対数尤度は 数値例では 𝑥 𝑖 >0 なので 𝑦 𝑖 =1であれば対数尤度は𝛼,𝛽に関して増加関数と なり 𝑦 𝑖 ln 1 1+ exp − 𝛼+𝛽 𝑥 𝑖 + 1−𝑦 𝑖 ln 1 1+ exp 𝛼+𝛽 𝑥 𝑖 数値例では 𝑥 𝑖 >0 なので 𝑦 𝑖 =1であれば対数尤度は𝛼,𝛽に関して増加関数と なり 𝑦 𝑖 =0であれば対数尤度は𝛼,𝛽に関して減少関数と なる

増加関数の対数尤度の総和 増加関数である対数尤度の総和を求める。 今回の例では𝑦=1の対数尤度は𝛼𝛽に関して増加関数な ので 𝑦 i ln ( 𝑝 𝑖 ) の総和が求める値となる。𝑦=1の対数尤 度の総和を 𝑓 𝛼,𝛽 = 𝑖=1 𝑛 𝑦 𝑖 ln 1 1+ exp − 𝛼+𝛽 𝑥 𝑖 とする。

減少関数の対数尤度の総和 減少関数である対数尤度の総和を求める。 今回の例では𝑦=0の対数尤度は𝛼,𝛽に関して減少関数なの で 1− 𝑦 𝑖 ln (1− 𝑝 𝑖 ) の総和が求める値となる。𝑦=0の対数 尤度の総和を 𝑔 𝛼,𝛽 = 𝑖=1 𝑛 1−𝑦 𝑖 ln 1 1+ exp 𝛼+𝛽 𝑥 𝑖 とする。

𝑓 𝛼,𝛽 の説明 値域は負値 𝛼,𝛽 に関して増加関数 値 𝛼,𝛽 が大きくなれば、0に近づいていく。 𝛼,𝛽 が小さくなれば、絶対値の大きな負の値に近づいて いく。 平面の傾き 𝛼,𝛽 が大きくなれば水平に近づいていく。 𝛼,𝛽 が小さくなれば、垂直に近づいていく。

𝑔 𝛼,𝛽 の説明 値域は負値 𝛼,𝛽 に関して減少関数 値 𝛼,𝛽 が大きくなれば、絶対値の大きな負の値に近づいて いく。 𝑔 𝛼,𝛽 の説明 値域は負値 𝛼,𝛽 に関して減少関数 値 𝛼,𝛽 が大きくなれば、絶対値の大きな負の値に近づいて いく。 𝛼,𝛽 が小さくなれば、 0に近づいていく。 平面の傾き 𝛼,𝛽が大きくなると、垂直に近づいていく。 𝛼,𝛽が小さくなれば水平に近づいていく。

𝑓(𝛼,𝛽)+𝑔(𝛼,𝛽) の値 𝛼,𝛽がそれぞれ大きくなれば 𝑓 𝛼,𝛽 は0に近づく。 𝑔 𝛼,𝛽 は絶対値の大きな負の値に近づく。 𝑓 𝛼,𝛽 は0に近づく。 𝑔 𝛼,𝛽 は絶対値の大きな負の値に近づく。 従って𝑓(𝛼,𝛽)+𝑔(𝛼,𝛽)は絶対値の大きな負の値に近づく 𝛼,𝛽がそれぞれ小さくなれば 𝑓 𝛼,𝛽 は絶対値の大きな負の値に近づく。 𝑔 𝛼,𝛽 は0に近づく。

𝑓 𝛼,𝛽 と g 𝛼,𝛽 2× ln 1 1+ exp − 𝛼+10𝛽 98×ln 1 1+exp⁡ 𝛼+10𝛽 𝑔 𝛼,𝛽 2× ln 1 1+ exp − 𝛼+10𝛽 98×ln 1 1+exp⁡ 𝛼+10𝛽 +8× ln 1 1+ exp − 𝛼+11𝛽 +92×ln 1 1+exp 𝛼+11𝛽 +27× ln 1 1+ exp − 𝛼+12𝛽 +73×ln 1 1+exp 𝛼+12𝛽 +62× ln 1 1+ exp − 𝛼+13𝛽 +38×ln 1 1+exp 𝛼+13𝛽 +88× ln 1 1+ exp − 𝛼+14𝛽 +12×ln 1 1+exp 𝛼+14𝛽 +97× ln 1 1+ exp − 𝛼+15𝛽 +3×ln 1 1+exp 𝛼+15𝛽 +99× ln 1 1+ exp − 𝛼+16𝛽 +1× ln 1 1+ exp 𝛼+16𝛽

𝑓 𝛼,𝛽 が描く平面 y=1 は単調増加関数 最大値は　\alpha \beta の最大値 β α

𝑔 𝛼,𝛽 が描く平面 y=1 は単調減少関数 最大値は　\alpha \beta の最小値 β α

対数尤度関数が描く平面 β α

最尤推定値 𝑝 𝑖 = 1 1+ exp − −18.5994+1.4684 𝑥 𝑖 a -24.211 b 1.936878 -167.632