数理統計学(第七回） 線形模型とは？ 浜田知久馬 数理統計学第７回

例：上皿天秤での重量測定 重さ(α，β)が未知の二つの物体AとBがあるとする. 計3回の重量測定 A単独 Y1 B単独 Y2 　　AとB一緒に　　 Y3 これらの測定値と 　α， βの関係は？ 数理統計学第７回

例の問題の定式化 次のモデルを想定する． Y1 =α+ U1 Y2 = b + U2 Y3 =α+ b+U3 仮定より ただし，U1, U2, U3 は互いに独立で， 　E[Ui]= 0, V[Ui]= s2 をみたす確率変数 と仮定する． 仮定より 　E[Y1]= α, E[Y2] = b, E[Y3] =α+ b 　V[Y1] = s2 ,V[Y2] = s2 , V[Y3] = s2 数理統計学第７回

最良な推定量の求め方 推定量を線形推定量に限定すると αの推定量として という形のものを使うことになる． 不偏性：E[t(Y)] =α t(Y) = c1 Y1 + c2 Y2 + c3 Y3 という形のものを使うことになる． 不偏性：E[t(Y)] =α 分散最小性：V[t(Y)] が最小 数理統計学第７回

期待値についての公式 E[c1Y1 + c2 Y2] = c1E[Y1] + c2E[ Y2] 期待値は線形演算である． c1, c2 を定数， Y1, Y2 を確率変数とすると，次式が成り立つ．これを「期待値の線形性」という． E[c1Y1 + c2 Y2] = c1E[Y1] + c2E[ Y2] 　　期待値の線形性より次の式も導ける． E[c1Y1 + …+ cn Yn]= c1E[Y1]+ …+ cnE[Yn] 数理統計学第７回

線形性と不偏性の条件 不偏性：E[t(Y)] = α 左辺＝c1E[Y1] + c2E[Y2] + c3E[Y3] c1 a+ c2 b + c3 (α+ b) 　　　= (c1 + c3 )α+ (c2 + c3) b これが恒等的に αに等しいためには？ 　　　　　 c1+ c3 = 1, c2 + c3 = 0 数理統計学第７回

分散についての公式 V[T]= c12V[Y1]+ c22V[Y2]+ … + cn2V[Yn] これを分散の加法性(加成性)という． 標本 (Y1, Y2, … , Yn) が互いに独立な確率変数であり，統計量 T がその線形式，すなわち， T = c1Y1 + c2Y2 + … + cnYn であるとき，次の公式が成り立つ． V[T]= c12V[Y1]+ c22V[Y2]+ … + cn2V[Yn] これを分散の加法性(加成性)という． 数理統計学第７回

不偏性のもとでの分散最小 不偏性＝＞c1 + c3 = 1, c2 + c3 = 0 （条件） 分散： V[t(Y)] = V[c1 Y1 + c2 Y2 + c3 Y3 ] 　= c12 V[Y1] + c22 V[Y2] + c32 V[Y3} 　= c12 s2 + c22 s2 + c32 s2 　= (c12 + c22 + c32) s2 　これを最小にするには？ 数理統計学第７回

力づくの解答 V[t(Y)] =(c12 + c22 + c32) s2 c1 + c3 = 1, c2 + c3 = 0 =(1-2c3+c32 +c32 + c32)s2 =(1-2c3+3c32)s2 =[3(c3 -1/3) 2 +1-1/3]s2 c3= 1/3(c1=2/3，c2=-1/3）⇒V[t(Y)]最小 数理統計学第７回

Lagrange の未定乗数法 p 次元ベクトル x について，等式制約：g(x) = 0 の下で，ある目的関数：f(x) の最大（小）値を求める問題の一つの解法に，ラグランジュの未定乗数法がある． を解くと，この連立方程式の解の中に求める解がある．　 数理統計学第７回

ラグランジュの未定乗数法 c1=2/3, c2=-1/3, c3=1/3 Q = c12 + c22 + c32 - l (c1 + c3 - 1) - m (c2 + c3 ) とおき，微分して 0 とおくことで， 2c1 - l = 0, 2c2 - m =0, 2c3 -l - m = 0 c1 + c3 = l/2 + l/2 + m/2 = 1 c2 + c3 = m/2 + l/2 + m/2 = 0 　　　　=> l = 4/3，m=-2/3 c1=2/3, c2=-1/3, c3=1/3　 t(Y) = (2/3) Y1 + (1/3) (Y3 - Y2) 数理統計学第７回

t(Y) = (2/3) Y1 + (1/3) (Y3 - Y2)の意味 自然なαの推定量 T2= Y1 ， T3=Y3 - Y2 V[T2]= s2 ， V[T3]=2s2 T2，T3の重みつき平均ＷＭを考える． ＷＭ＝（w2T2+w3T3)/(w2+w3) w2：w3を2：1とすると ＷＭ＝ (2/3) Y1 + (1/3) (Y3 - Y2) ＝ t(Y) 数理統計学第７回

本当に分散が最小？ T = 2/3Y1 －1/3Y2 +1/3Y3 E[T]=2/3α－1/3β+1/3(α+β)=α V[T]= (4/9+ 1/9+1/9) s2 =6/9s2 =2/3s2 自然なαの推定量として， T2= Y1を考える. E[T2]=αなので， T2は不偏推定量となるが， V[T2]= s2＞V[T]=2/3s2 　　と分散はV[T]より大きくなる. 数理統計学第７回

演習問題1 βの最良線形不偏推定量を求めよ. 1)不偏性を満たすための条件は. 2)分散が最小になるように係数を決定せよ 3）そのときの分散の大きさを評価せよ. 数理統計学第７回

まとめ：重量推定の例 線形で不偏な推定量の中で，分散が最小なものはどのような推定量か？ 線形性の条件は　t(Y) = c1 Y1 + c2 Y2 +c3 Y3 不偏性の条件は 　c1+ c3 = 1,　 c2 + c3 = 0 これと分散最小性から， 　　c1 = 2/3, c2 = -1/3, c3 = 1/3 ＝＞　t(Y) = (2/3) Y1 + (1/3) (Y3 - Y2) 数理統計学第７回

不偏推定量の中で分散最小なもの ＝＞ 最良不偏推定量 線形でかつ不偏な推定量の中で分散が最小なもの ＝＞ 最良線形不偏推定量 不偏推定量の中で分散最小なもの 　　　　　＝＞　最良不偏推定量 線形でかつ不偏な推定量の中で分散が最小なもの　＝＞　最良線形不偏推定量 最良線形不偏推定量を求めるのは厄介 もっと一般的に簡単に求める方法はないのか？ 線形模型の場合，ある条件の下で， 最良線形不偏推定量は最小二乗法で求められる． 数理統計学第７回

最小二乗法とは 観測変数とその期待値の差の二乗和を 最小とする母数の値を，母数の真の値と断 定する母数推定法 最小二乗法とは 　観測変数とその期待値の差の二乗和を 　最小とする母数の値を，母数の真の値と断　定する母数推定法 線形模型の場合， Q = Σ(Yi - XiTb)2 　の b に関する最小値は，Y の関数となる．この関数を b の推定量とする方法 　　＝＞　最小二乗推定量 数理統計学第７回

最小二乗法の模式図 数理統計学第７回

記号表記 Yi 　　　　　XiT　　　　 　　b XiTb Y1　　　[1　　0] 　　　α　　 α Y2　　　[0　　1]　 　　β　　　　β Y3 　　 [1　　1] 　　　　　　　α+β　 数理統計学第７回

最小二乗推定量の計算 Q = (Y1 -α)2 + (Y2 - b)2 + (Y3 -α -b)2 Q を最小にする α，βをa, bとおくと， Q をα，βで偏微分して 0 とおくことで，次の連立方程式の解として求められる． - 2(Y1 - a) - 2(Y3 - a - b) = 0 - 2(Y2 - b) - 2(Y3 - a - b ) = 0 a = [2Y1 + (Y3 -Y2)] /3 b = [2Y2 + (Y3 -Y1)] /3 数理統計学第７回

最小二乗法の良さを示す定理 定理１ (線形推定論の基本定理) 　線形模型で誤差の３条件が成り立つとき，未知母数の最小二乗推定量は最良線形不偏推定量である． 定理２ (正規推定論の基本定理) 　線形模型で誤差の４条件が成り立つとき，未知母数の最小二乗推定量は最良不偏推定量である． 数理統計学第７回

誤差の４条件 条件１：独立性 ＝＞ 誤差は独立 独立の定義に第４回で説明 条件２：不偏性 ＝＞ 誤差の期待値が 0 条件１：独立性　＝＞　誤差は独立 　　　　　独立の定義に第４回で説明 条件２：不偏性　＝＞　誤差の期待値が 0 E[Ui] = 0 ; i = 1, 2, …, n 条件３：等分散性　＝＞ 誤差の大きさは同じ V[Ui] = s2 ; i = 1, 2, …, n 条件４：正規性：誤差の分布は正規分布 数理統計学第７回

記号表記 Y 　　　　　X　　　　 　　　　b Xb 3×1　　　3×2　　　2×1　　 3×1 数理統計学第７回

最小二乗法を行列表現すると？ Q = (Y - Xb) T(Y - Xb）) 数理統計学第７回

単回帰分析の場合 Q＝Σ（ｙiーｘiβ)2 ｄQ/ｄβ＝ー２Σｘi（ｙiーｘiβ)=0より Σｘi（ｙiーｘiｂ)=０ 数理統計学第７回

補足説明 スカラーをベクトルで微分 ＝＞ ベクトルの各要素で微分してベクトルと同じ形の行列にしたもの Q=bTa ⇒ ｄQ／ｄｂ=a 　　＝＞　ベクトルの各要素で微分してベクトルと同じ形の行列にしたもの Q=bTa 　⇒ 　ｄQ／ｄｂ=a 　 Q=bTb ⇒ 　ｄQ／ｄｂ=2b 　 Q=bTCb ⇒ 　ｄQ／ｄｂ=2Cb 　 （Cは対称行列） 最小二乗法で解を求めるための方程式を正規方程式 normal equation という． 正規方程式の解が最小二乗推定量である．　 数理統計学第７回

スカラーをベクトルで微分 要素が３つの場合 Q=bTa＝b1a1+ b2a2 + b3a3 ｄQ/ｄb1＝ a1　ｄQ/ｄb2＝ a2　ｄQ/ｄb3＝ a3 ｄQ／ｄｂ＝[ a1　a2　　a3] Q=bTb＝b12+ b22+ b32 ｄQ/ｄb1＝2b1　ｄQ/ｄb2＝2b2　ｄQ/ｄb3＝2b3 ｄQ／ｄｂ＝[2b1 2b2 2b3] ＝2[b1 b2 b3] 数理統計学第７回

行列について参考にすべきこと １．1×1 の行列，つまりスカラーは転置 　　しても変わらない．3T=3 ２．横ベクトル ・ 行列 ・ 縦ベクトル 　　= スカラー 　　　⇒ cT V[Y] d = dT V[Y] c ３．（AB）T = BTAT ４．XTX は対称行列， 　　すなわち (XTX)T = XTX 数理統計学第７回

Ｑの微分 Q = (Y - Xb) T(Y - Xb）) = Y TY - (Xb) TY -Y T Xb＋(Xb) TXb = Y TY - bTXTY - Y TXb ＋bTXTXb （Y TXb )T = bTXTY なので Q = Y TY -２bTXTY ＋bTXTXb ｄQ／ｄb= -２XTY ＋２XTXb ｂ＝(X TX)-1X TY 数理統計学第７回

行列の計算 X TX＝　1　0　1 1 0 ＝ 2 1 　　　　　 0 1 1　 0 1 1 2 1 1 (X TX)-1＝ 1 2　-1　 ＝ 2/3 –1/3 2×2-1×1 -1 2 –1/3 2/3 X TY＝　1　0　1 Y1 ＝ Y1+Y3 　　　　　 0 1 1　 Y2 Y2+Y3 Y3 数理統計学第７回

行列の計算(続き） (X TX)-1 X TY＝ 2/3 –1/3 Y1+Y3 –1/3 2/3 Y2+Y3 数理統計学第７回

ガウスマルコフの定理： 線形推定論の基本定理 線形模型で誤差の３条件が成り立つとき，未知母数の最小二乗推定量は最良線形不偏推定量である． 証明は？ 最小二乗推定量が線形不偏であることは証明が容易．分散最小性の証明は少し面倒 数理統計学第７回

誤差の条件の行列表現 線形モデル，Y = X b + U において， U1, U2, …, Un が互いに独立，不偏，等分散であれば， ＝＞E[U]=0 　　　V[U]= s2 I （I はn×ｎ単位行列） ＝＞Y1, Y2, …Yn は独立，等分散 ＝＞E[Y] = Xb, V[Y]=s2 I 数理統計学第７回

線形性 ｂ＝(X T X )-1 X T Y p×ｎ ｎ×p p×ｎ ｎ×1 ｂはY1, Y2, …, Ynの線型結合で表現できる. 先の例では ｂ＝ 2/3Y1-1/3Y2 +1/3Y3 　-1/3Y1+2/3Y2 +1/3Y3 数理統計学第７回

不偏性 E[Y] = Xb b=(X TX)-1 XT Y E[b] = E[(X TX)-1 XT Y ] = (X TX)-1 XT E[Y] = (X TX)-1 XT X b = b 数理統計学第７回

定理１の特別な場合として，b が１次元の場合の証明を行う． Y　　＝　X　　　　　　　b ＋ Ｕ ｎ×1　　ｎ×1　1×1　　 ｎ×1とかく 最小二乗推定量を b = (XＴX)-1 XＴYとかく 任意の線形不偏推定量を ｂu= dＴY とすると， E[ｂu ] = dＴE[Y] = dＴXb 不偏性より，dＴX = I (単位行列，今は１) 数理統計学第７回

共分散の計算 ｐ＝３の場合 Ｚ1＝α1X1+α2X2+α3X3＝αTｘ Ｚ2＝β1X1+β2X2+β3X3＝βTｘ Cov[Ｚ1,Ｚ2]＝αT Vβ ＝α1β1V[X1]+ α1β2Cov[X1,X2]+ α1β3Cov[X1,X3] +α2β1Cov[X2,X１]+ α2β2V[X2]+α2β3Cov[X2,X3] +α3β1Cov[X3,X1]+ α3β2Cov[X3,X2]+α3β3V[X3] Cov[Ｚ1,Ｚ1]＝V [Ｚ1] ＝αT Vα Cov[Ｚ2,Ｚ2]＝V [Ｚ2] ＝βT Vβ 数理統計学第７回

共分散の行列表現 Cov[Ｚ1,Ｚ2]＝αT Vβ α1 α2 α3 β1 β2 β3 X1,X2,X3が独立なときは α1　α2　α3 　 V[X1]　　　 Cov[X1, X2]　 Cov[X1, X3] 　　 Cov[X2, X1] 　 V[X2] 　　　　Cov[X2, X3] Cov[X3, X1] Cov[X3, X2] 　 V[X3] β1 β2 β3 X1,X2,X3が独立なときは Cov[Ｚ1,Ｚ2]＝α1β1V[X1]+α2β2V[X2]+α3β3V[X3] 数理統計学第７回

最小二乗推定量の分散 V[b]= V[(X TX)-1 XT Y ] YT=[Ｙ1，Ｙ2，・・・，Ｙｎ] Y：ｎ行のベクトル ａT=[a1，a2，・・・， aｎ]　 ａ：ｎ行のベクトル YT=[Ｙ1，Ｙ2，・・・，Ｙｎ]　Y：ｎ行のベクトル V：分散・共分散行列(ｎ×ｎ)　 Z＝ａTY 　のとき　V[Ｚ]＝ａT V[Y] ａ ａ= [(X TX)-1 XT ] T ＝X (X TX)-1 とおくと V[b]=(X TX)-1 XT V[Y] X (X TX)-1 と 仮定よりV[Y]＝ s2 I 　　 Iはｎ×ｎの単位行列 V[b]= s2 (X TX)-1 XT X (X TX)-1 = s2 (X TX)-1 数理統計学第７回

V[b]=(X TX)-1 XT V[Y] X (X TX)-1 σ2 　　σ2 　　　　σ2 σ2 X X TX (X TX)-1 (X TX)-1 数理統計学第７回

ガウスマルコフの定理の証明 V[ｂu] = V[ｂu- b + b] = V[ｂu - b] + V[b]+ 2 Cov[ｂu- b, b] = Cov [dＴY - (XＴX)-1XＴY, (XＴX)-1XＴY ] = Cov [（dＴ- (XＴX)-1XＴ) Y, (XＴX)-1XＴY ] = (dＴ - (XＴX)-1XＴ) V[Y] X (XＴX)-1 = (dＴX - (XＴX)-1XＴX) (XＴX)-1 s2 I = (I - I) (XＴX)-1 s2 = 0 ゆえに V[ｂu] = V[ｂu- b] +V[b]≧V[b] 数理統計学第７回

共分散の計算 Ｚ1＝α1X1+α2X2+ ・・・+αpXp＝αTｘ Ｚ2＝β1X1+β2X2+ ・・・+βpXp＝βTｘ のとき Cov[Ｚ1,Ｚ2]＝ Cov[αTｘ, βTｘ] ＝ΣαiβjCov［Xi,Xｊ] ＝αT Vβ ｂ＝ (X TX)-1 XTY ＝[X(X TX)-1 ]T Y ｂu -ｂ＝[dーX(X TX)-1 ]T Y 数理統計学第７回

先の例での確認 αの最小二乗推定量：ｂ＝ 2/3Y1-1/3Y2 +1/3Y3 自然なαの不偏推定量：ｂu ＝Y1 Cov[ｂu- b, b] ＝ Cov[1/3Y1+1/3Y2 -1/3Y3 , 2/3Y1-1/3Y2 +1/3Y3 ] ＝ 1/3 2/3V[Y1]-1/3 1/3V[Y2] -1/3 1/3V[Y3] ＝ (2/9-1/9-1/9） s2= 0 ｂu- bとbは無相関⇒ｂu- bはｂに対して情報を持たない. 数理統計学第７回

まとめ 誤差の３条件（独立性，不偏性，等分散性） が成り立てば，最小２乗推定量に一致 分散最小性の証明：ガウスマルコフの定理 最良線形不偏推定量 t(Y) = c1 Y1 + c2 Y2 + c3 Y3 不偏性：E[t(Y)] =真値 分散最小性：V[t(Y)] が最小 誤差の３条件（独立性，不偏性，等分散性） が成り立てば，最小２乗推定量に一致 分散最小性の証明：ガウスマルコフの定理 数理統計学第７回

演習問題 Y1, Y2, …, Yn が互いに独立で E[Yi] = m, V[Yi] = s2 を満たす確率変数のとき， 問３： m の線形不偏推定量(c1Y1+c2Y2+ … + cnYn）はどのような条件を満たさなければならないか． 問４：その中で分散が最小なもの，つまり最良線　　　　形不偏推定量は？ 数理統計学第７回