回帰分析

回帰分析

回帰分析

回帰分析 （線形）回帰分析とは、ある変数（目的変数） をいくつかの変数（説明変数）の（線形）結合 で表現する手法である。 　をいくつかの変数（説明変数）の（線形）結合 　で表現する手法である。 　説明変数が一つの時を単回帰分析 　説明変数が複数ある時を重回帰分析という。

[テーマ]　講義の構成 回帰分析と最小2乗法 予測の精度について Rによるシミュレーション まとめ

回帰分析

係数の導出

係数の導出

係数の導出

回帰係数の導出

回帰係数の導出 最小2乗法 が最小となる , を求める。

回帰係数の導出 最小2乗法 が最小となる , を求める。

回帰係数の導出 最小2乗法 , で偏微分すると、 が最小となる , を求める。

回帰係数の導出 最小2乗法 , で偏微分すると、 が最小となる , を求める。

回帰係数の導出 最小2乗法 , で偏微分すると、 が最小となる , を求める。

回帰係数の導出

回帰係数の導出

回帰係数の導出 回帰直線 は それぞれの中心（平均）の点を通る。

回帰係数の導出 回帰直線 はそれぞれの中心を通る。 中心化

回帰係数の導出 回帰直線 はそれぞれの中心を通る。 中心化 N （または N - 1 ）で割ると、分散共分散を用いて

回帰係数の導出 条件を整理すると、 　　　のとき

回帰係数の導出 条件を整理すると、 r 次元の場合 同様に計算すると… 　　　のとき

回帰係数の導出 条件を整理すると、 r 次元の場合 同様に計算すると… 　　　のとき

回帰係数の計算（まとめ） 最小2乗法にて導出 　に関して ２次元の場合 r 次元の場合

回帰係数の計算（まとめ） 最小2乗法にて導出 　に関して ２次元の場合 r 次元の場合

回帰係数の計算（まとめ） 最小2乗法にて導出 に関して に関して ２次元の場合 ２次元の場合 r 次元の場合 r 次元の場合 　に関して 　に関して ２次元の場合 ２次元の場合 r 次元の場合 r 次元の場合 逆行列があれば，係数が導出できる。 回帰直線は中心を通る。

主成分分析と回帰分析 主成分分析 標準化(または　中心化)

主成分分析と回帰分析 主成分分析 回帰分析 標準化(または　中心化) 説明変数 目的変数

主成分分析と回帰分析 主成分分析 回帰分析

主成分分析と回帰分析 主成分分析 固有値・固有ベクトル 回帰分析 逆行列

予測の精度について

予測の精度について

予測の精度について

予測の精度について

予測の精度について

予測の精度について ( : 正規乱数 ) であれば、 係数を求めることはできる。 値が求まるからといって 特徴をよく表している ( : 正規乱数 ) 　　　であれば、 係数を求めることはできる。 値が求まるからといって 　特徴をよく表している 　　というわけではない。

決定係数 として、誤差の2乗を計算すると、

予測の精度について 決定係数 として、誤差の2乗を計算すると、 T : トータル(Total) E : 誤差(Error) R : 回帰 (Regression)

Rによる計算例

Rによる計算（lm） > h1 <- read.table (“w1.dat”, header=T, row.names=1) > h2 <-lm( weight ~ height, data=h1) > h2 > plot( h1, pch=16 ) > abline( h2 )

Rによる計算（lm） > h1 <- read.table (“w1.dat”, header=T, row.names=1) > h2 <-lm( weight ~ height, data=h1) > h2 > plot( h1, pch=16 ) > abline( h2 )

Rによる計算（lm） > h1 <- read.table (“w1.dat”, header=T, row.names=1) > h2 <-lm( weight ~ height, data=h1) > h2 > plot( h1, pch=16 ) > abline( h2 )

Rによる計算（lm） > h1 <- read.table (“w1.dat”, header=T, row.names=1) > h2 <-lm( weight ~ height, data=h1) > h2 > plot( h1, pch=16 ) > abline( h2 )

Rによる計算（回帰分析） > h1 <- read.table (“w1.dat”, header=T, row.names=1) > h1 > h2 <-lm( weight ~ height, data=h1) > h2 >plot( h1 ) >abline( h2 ) lm( 目的変数 ~ 説明変数, data= データ名 ) 複数の場合は、 lm( 目的変数 ~ 説明変数1+説明変数2+…, data=データ名 )

Rによる計算（回帰分析） > h1 <- read.table (“w1.dat”, header=T, row.names=1) > h1 > h2 <-lm( weight ~ height, data=h1) > h2 > plot( h1, pch=16 ) > abline( h2 )

Rによる計算（回帰分析） > h1 <- read.table (“w1.dat”, header=T, row.names=1) > h1 > h2 <-lm( weight ~ height, data=h1) > h2 > plot( h1, pch=16 ) > abline( h2 )

まとめ

まとめ 回帰分析 目的変数，説明変数，最小2乗法 主成分分析との違い モデルの当てはまり具合 決定係数，観測値，予測値の分散