多変量解析　－重回帰分析－ 発表者：時田　陽一 発表日：11月20日.

Presentation on theme: "多変量解析　－重回帰分析－ 発表者：時田　陽一 発表日：11月20日."— Presentation transcript:

1 多変量解析　－重回帰分析－ 発表者：時田　陽一 発表日：11月20日

2 1．重回帰式の求め方 最小2乗法 p個の説明変数 について、n個のデータが測定されたとする 求める重回帰式：
x1 x2 ・・・ xj xp y 1 x 11 x 12 x 1j x 1p y1 2 x 21 x 22 x 2j x 2p y2 ： i x i1 x i2 x ij x ip yi n x n1 x n2 x nj x np yn 求める重回帰式： i番目のサンプルの理論値を　　とすると： i番目のサンプルの残差： 残差平方和　　： 　　を最小にする　　を求める 最小2乗法

3 正規方程式 正規方程式 を最小にするための係数 を で編微分して0とおき、(p+1)元の連立方程式を作り、解く ●基本統計量
　　を最小にするための係数　 　　を　　　　　　　　　で編微分して0とおき、(p+1)元の連立方程式を作り、解く 正規方程式 ●基本統計量 ・平均：目的変数の平均を 　　　　説明変数の平均を ・積和：yとj番目の変数との積和 ・平方和・積和行列： 　　　各説明変数における偏差平方和、 　　　変数相互の積和で作られる行列 ・偏差平方和：変数yの偏差平方和 　　における偏差平方和 逆行列：

4 偏回帰係数の公式 正規方程式を変形させる この連立方程式を解くことで、偏回帰係数　　　　　　　　 が求まる (正規方程式をサンプル数nで割る) これから、

5 平方和・積和行列の適用 平方和・積和行列を適用すると以下のようになる ・偏回帰係数 ・残差平方和 ・重相関係数 ・偏相関係数 ・標準誤差
各行列は以下の通り(p＝2の場合) ： 行列　　のi行j列目の要素の余因子 ：平方和・積和行列の逆行列のi ｊ成分

6 相関行列の適用 相関行列を とする ： のi行j列目の 余因子行列 ： のi行j列目の 余因子行列の逆行列 ・連立方程式 ・残差平方和
相関行列を　　 とする ：　　 のi行j列目の 　　　　　　　　余因子行列 ：　　 のi行j列目の 　　　　　余因子行列の逆行列 ・連立方程式 ・残差平方和 ・標準偏回帰係数 ・標準誤差 ・重相関係数

7 2．重回帰式の係数に関する 推定と検定 ●標準誤差 ・標本調査を何度も行い、各調査ごとに重回帰式を得たとする
2．重回帰式の係数に関する 　　　　　　　　　　　　　　　推定と検定 ●標準誤差 ・標本調査を何度も行い、各調査ごとに重回帰式を得たとする ・求められた偏回帰係数　　別々に、度数分布、ヒストグラムを作成する ここで、ある変数　　の母集団の偏回帰係数を　　とする ヒストグラムは平均　　標準偏差　　　　 　　　の正規分布に 　　　　　　　　　　　　　　　　　　　　　　　　　近づくことがわかっている 標準誤差 定数項　　の標準誤差： n：サンプル数、　　：逆行列、 　　　　；説明変数の平均

8 係数・定数項の推定 信頼幅：100(1-α)%　自由度：n-p-1 t値： 　　の区間推定： 　　の区間推定：

9 T値・F値と係数・定数項の検定 ●T値と係数・定数項の検定 ・有意水準α、自由度n-p-1におけるt値を
・j番目変数の偏回帰係数を標準誤差　　で割った値 　　は母集団の偏回帰係数が　　　　という仮説の下に自由度のt分布に従う であれば、　　は有意 ・定数項　　を標準誤差　　で割った値 であれば、　　は有意 T値 母集団の偏回帰係数が　　　　という仮説の下に自由度 　　　　　　　　　のF分布に従う ●係数検定のためのF値 ：　　（j番変数のT値）を2乗した値 変数選択法を用いる場合、F値を使って検定する

10 3．理論値に関する分析 ●ダーヴィンワトソン比 値が2前後のときランダム 重回帰分析：残差 がランダムでなければならない
重回帰分析：残差　　がランダムでなければならない ダーヴィンワトソン比(Dw)：一つ前の　　との系列相関を見ることによって 　　　　　　　　　　　　　　　　　　に何らかの傾向があるか判断する

11 理論値の区間推定 理論値の区間推定 ある特定のサンプルi番目の理論値を とする
理論値が標本調査より得たものであるとき、 　　　　　　　「何％の信頼度でこの理論値は○から△の間にある」 という 理論値の区間推定 ：残差変動の不偏分散 理論値の標準偏差： n ： サンプル数 　　は平方和・積和行列なのでn倍 ：点　　と平均　　とのマハラノビスの汎距離　(j=1,・・・,p) i番目サンプルの母集団の理論値を　　、標本調査による理論値を　　とすると 区間推定（有意水準α、n－p－1の　　　　　　　　　　とする）

12 4．変数選択法[1] 説明変数選択の注意点 目的変数と相関の高い変数を選ぶ 説明変数相互で相関の高いものは、いずれかの変数を除外する
マルチコ（多重共線性）の原因 説明変数の候補の中から、変数を選択して重回帰式を求める方法 　　　A.分析者自身が変数を選択する方法　　・・・・・・・・一般的な重回帰分析 　　　B.ある基準を設け、これとの大小関係から 　　　　　　　　　　　　自動的に変数を選択させる方法　・・・変数選択法

13 変数選択法[2] 変数選択法(各偏回帰係数に対応するF値と、あらかじめ設定した 　　　　　　　　　　F-in・F-outの値とを比較して、当該変数の取り込み・除外を行う) 変数増加法 ： 変数が1つも含まれていないモデルから出発し、 変数を一つずつ増加させて、変数選択を行う 変数減少法 ： 説明変数全部を用いたモデルから出発し、 　　　　　　　　　　　　　　　　　変数を1つずつ減少させ、変数選択を行う 変数増減法 ： 増加法と減少法との問題点（増加法では1度採用された 　　　　　　　　　　変数は落とされない、減少法では1度落とされた変数は 　　　　　　　　　　採用されることが無い）を改良した方法

14 5．重回帰分析における1つの工夫 重回帰分析 説明変数が多くなるとマルチコが起こりやすくなる
変数選択を厳しくすると説明変数の数が3～4個となり重回帰分析の本来の意味をなさない 重回帰分析 「説明変数の数を多くとってもマルチコ現象が起こらない重回帰分析」 主成分への回帰 　　　説明変数に主成分分析を適用し、相互に相関の無い固有ベクトルで表す 　　　求められた固有ベクトルとサンプルデータから、主成分得点を算出 　　　目的変数と主成分得点の重回帰分析を行う 　　　重回帰分析の偏回帰係数と固有ベクトルとの積和により係数を求める 短回帰の合成 　　　p個の説明変数各々について単回帰分析を行う。それを合成して 　重回帰式を作る 　　　残差平方和　　を求め、最小2乗法により係数を求める 　　　求めた係数により回帰式の係数を求める