回帰分析 重回帰(3).

Presentation on theme: "回帰分析 重回帰(3)."— Presentation transcript:

1 回帰分析 重回帰(3)

2 内容 分散不均一性 誤差項の系列相関 多重共線性 説明変数の誤差 誤差項と説明変数の相関 分散不均一性とは何か
Heteroskedsticity robust estimator 分散不均一性の検出 加重最小二乗法 (Weighted Least Square) 誤差項の系列相関 多重共線性 説明変数の誤差 誤差項と説明変数の相関

3 回帰分析の前提 モデルの線型性 ui~N(0,s2) i.i.d. 説明変数と誤差項は独立 説明変数の行列Xはfull rank
誤差項の期待値は0 誤差項は互いに独立（系列相関は無い） 誤差項の分散は一定（分散均一性） 誤差項は正規分布（t検定，F検定のための前提） 説明変数と誤差項は独立 説明変数の行列Xはfull rank

4 分散不均一性 heteroskedasticity
分散均一性(homoskedasticity) 誤差項は互いに独立で同一の分布に従う 回帰係数bの分布はこの仮定に依存 分散均一性の仮定が満たされなくても不偏性は成立。bの分散は上の式のようにはならない。 t 検定，F検定は正しくない。 𝑏=𝛽+ 𝑖 𝑥 𝑖 − 𝑥 𝑢 𝑖 𝑆 𝑥𝑥 E 𝑏 =𝛽, var 𝑏 = 𝑖 𝑥 𝑖 − 𝑥 2 𝜎 2 ( 𝑆 𝑥𝑥 ) 2 = 𝜎 2 𝑆 𝑥𝑥 𝑏−𝛽 s.e.(𝑏) ~𝑡 𝑛−(𝑘+1)

5 分散不均一性(2) 誤差項の分散が説明変数の大きさと何らかのシステマティックな関係があると分散均一性の仮定は成立しない。
例）賃金方程式で，高学歴者ほど賃金の分散が大きくなる。経験年数の長い人ほど，賃金の分散が大きくなる。 誤差項の系列相関も，広い意味でのheteroskedasticity ただし，誤差の分散は，ここで想定しているようなものと少し異なる

6 分散不均一性(3) Eviewsなどの統計パッケージでは，最小二乗法のoptionで，heteroskedasticity robust estimator を算出してくれる OLSの残差から適切な分散を計算 EviewsではWhiteの方法とHAC(Newey West）の方法が選択できる HACは誤差項に系列相関がある場合の方法 robust t estimator 漸近的に正しい統計量（サンプルサイズが十分に大きいとき） Heteroskedasticity robust estimator:　OLSの残差をeとして，左のように計算

7 Heteroskedasticity robust estimator
Menuから　 Quick /Estimate Equation でspecicficationに回帰式を書き（method はLS），options のタブをクリック Coefficient covariance matrix でWhiteを選択する。 （optionはEstimation Defaultで通常のOLS，White，HAC） 通常のOLSとheteroskedasticity robust estimatorのs.e. やt値を比較せよ。

8 分散不均一性の検出 残差の平方と説明変数またはyの予測値の間にある関係
例） 　y=a+bx+u,　s2=kx 残差と説明変数x（あるいは被説明変数yの予測値）は，最小二乗法では直交 e’x=0 残差を,説明変数（yの予測値）に回帰してもその係数はゼロ 　残差の平方と，xやyの予測値との間にシステマティックな関係があるかどうかを調べる。

9 分散不均一性の検出(2) Breusch and Paganのテスト

10 分散不均一性の検出(3) Whiteのテスト 残差の平方 e2 を被説明変数
説明変数：xjをそのままいれず，xjの平方，xjとxhの交差項を加える これらの説明変数の係数が全て0という仮説を検定する 簡便な方法 yの予測値，その平方を説明変数に加える

11 分散不均一性への対処 分散不均一性のテストは検出のみ 実際には多くの場合 どのような方法で対処すべきかは教えてくれない
var(u|x)=s2 f(x)　が成立している f(x)の形状がわかれば （多くの場合はf(x)=x) この式を推計すればよい　Weighted Least Square Estimate Equations でmethodはLS を指定。Options タブでWeights  この場合はWeights のtypeにinverse std dev. を指定し，weight series を f(x)とする

12 Breusch and Pagan の検定　メニューから選択する方法
回帰式を推定した後， View/ Residual Diagnostics/ Heteroskedasticity Tests を選択 Breusch and Pagan test White testなどの Optionがある

13 Whiteの検定 回帰分析の後， View/ Residual Tests/ Heteroskedasticity tests を選択 Whiteのtestを選択すると，自動的に説明変数のクロス項，平方を説明変数のリストに加えてくれる

14 Whiteの検定 残差の平方を被説明変数に 説明変数の係数が全て0という仮説は棄却される 分散不均一性が検出された

15 問題1 wage1.rawで賃金方程式を推計し，分散不均一性のテスト（Breusch and Pagan test)を行いなさい
Whiteのテストを行いなさい 分散不均一性が検出された場合，適切な変数変換をして回帰を行い，最初の回帰と結果を比較しなさい。

16 問題2 HPRICE1.RAW 次のモデルを推計せよ 上のモデルを対数形で推計せよ 被説明変数：price(住宅価格）
説明変数：lotsize, sqrft, bdrms 分散不均一性のテストを行え 上のモデルを対数形で推計せよ 被説明変数： log(price) 説明変数：log(lotsize), log(sqrft), log(bdrms)

17 分散不均一性の検定 メニューを使わない方法
Breusch and Pagan 残差の平方を計算 series res2 = resid^2 コマンドウィンドウで上のコマンドをタイプ res2 を被説明変数にして回帰分析 説明変数の係数=0のF検定 Whiteの検定 被説明変数の予測値を計算 series res =resid series fit = lnwage - res Res2を被説明変数に，fit , fitの平方を説明変数にした回帰分析を行い，F検定

18 Weighted Least Square (1)式のモデルで，誤差項の分散が次のように表されるとする
(1)式を次のように変換すれば，分散は均一になる

19 Quick/ Estimate Equation で最小二乗法LSを選択
Options のタブで Weights を 選択 Type は None, Inverse variance, Inverse std dev. variance std dev から選択 None　→通常のOLS Weight Seriesにweight変数名を記入 古いversionだと，Typeの選択ができないかもしれません。 その場合，weight変数名に，1/sqr(EDUC)といれればいいでしょう。詳しくはマニュアルを参照してください。

20 誤差項の系列相関 回帰分析の前提：誤差項は互いに独立 誤差項に系列相関がある場合 回帰係数bの分散がs2(X’X)-1にならない
クロスセクションデータの場合には問題にならない オブザベーションの並び方が，隣接した地域や人の順番になっている場合には意味がある場合あり。 時系列データの場合には意味がある ある時点で生じたショックがしばらく尾をひく（誤差項の系列相関アリ）

21 Durbin Watson検定 1階の系列相関を調べる検定 現在では，誤差項はもっと一般的にAR(p)過程に従うとして，推計ができる
また，時系列データの分析では，説明変数が定常過程か非定常過程かの区別が重要 DW比は多くの統計パッケージでは自動的に出力される 経済データでは，r>0のケースが普通　（rは1階の相関係数） 大雑把なルールではDW比が1に近いと系列相関あり

22 多重共線性 multicolinearity
説明変数間の相関が高い場合，回帰分析では，個々の変数の影響を分離して推計することができなくなる 実験データ 個々の変数の影響が十分に分離できるように実験計画を立てる 経済データ 上のようなことは不可能 分析のレベルの再検討 例）地方政府の行動（支出）を，地域の財政状況（債務残高，税収，国からの補助金，交付税額），地域の属性（山間地，豪雪地帯,..），所得，面積等で説明 国からの補助金は，その地域属性によって決まる 個々の変数の効果が捉えられない

23 説明変数の誤差 誤差項wiの期待値は0，分散は一定。しかし，wiとxiには相関がある 真のモデル
説明変数xi*は観察できない：そのかわりxiが観察できる 誤差項wiの期待値は0，分散は一定。しかし，wiとxiには相関がある

24 説明変数の誤差(2) 説明変数の誤差誤差項と説明変数の相関 最少二乗推定量 特に単回帰の場合

25 説明変数の誤差(3) 例）恒常所得仮説 説明変数の誤差操作変数法(Instrumental Variables Method)
Y：観察される所得，　YP: 恒常所得，　YT：変動所得 消費は観察不可能な恒常所得に比例する（kはほぼ1に近い） 消費関数を推計すると，消費性向はケインズ型消費関数の消費性向（0.6～0.7)と推定される 説明変数の誤差操作変数法(Instrumental Variables Method)

26 説明変数の誤差，誤差項と説明変数の相関 対処方法
説明変数の誤差，誤差項と説明変数の相関　対処方法 誤差項と説明変数の相関の問題は，連立方程式モデルでも発生 操作変数法(Instrumental Variable Method) IVについては後述