回帰分析（Regression Analysis)

Presentation on theme: "回帰分析（Regression Analysis)"— Presentation transcript:

1 回帰分析（Regression Analysis)
最小２乗法 決定係数

2 回帰分析とは２変数の間に線形式を当てはめ、YがXによって
どれくらい説明できるのかを定量的に分析することである Y 傾き X 切片 線形関係の仕組み

3 ＸとYの線形関係 変数ｘと変数ｙの線形関係を把握するために、一つの固定した傾き と切片 をとり、その直線を ① とおいてみる。
変数ｘと変数ｙの線形関係を把握するために、一つの固定した傾き　　と切片　　　をとり、その直線を 　　　　　　　　　① 　とおいてみる。 Ｘ：独立変数（説明変数）. Y：従属変数（被説明変数）.

4 ｘからｙへの推計とその誤差 とβが決められたら、式①のｘに第 i 番のデータ を 代入したときの の値を とすると、
理論値　②　　　　　　　　　　　　 が得られる。 　　ｎ個データ 　　　　　　　　　　　　　について、ｎ個の誤差 が 式③によって得られる。 実際値 ③ 誤差 ④

5 最小２乗法 最小２乗法（ Least Squares Method）とは、 としたとき、 →最小となるような と を求める手法
パラメータ（Parameter,　未知の係数）　　、　　　が定まれば、この直線が定まり、ｘ から ｙ が決定される仕組みが明らかになる。 最小２乗法（ Least Squares Method）とは、 　　　　　　　　　　　　　　　としたとき、 　　　　　　→最小となるような　　と　　を求める手法 　　　　 が誤差の２乗和と呼ばれる

6 誤差の２乗和(Sum of Squares of Errors)
⑤ 　を最小にするような　　と　　の値を求める。 　この方法を最小2乗法といい、その推定値を最小２乗推定値という。

7 誤差を最小にする方法 SSEは と の２変数関数の２次式であるので、最小を求めるために 、 でそれぞれ偏微分して０とおくと、正規方程式
　となる。

8 極値の判定 関数f(x)において、 　　　　　　　　　　　　　　　　　ならば 　　　　　　　　　　　f(x)はx=aで極小となり　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ならば 　　　　　　　　　　　f(x)はx=aで極大となる　

9 連立方程式の解を解く より ⑥

10 回帰係数の計算式 式⑥を　　,　　の２元連立方程式として解くと、　,　　　の最小２乗推定値は ⑦ ⑧　　　　　　　　　　　　　　aとbを②式に代入 ⑨　回帰直線方程式

11 練習問題

12 最小２乗残差 回帰直線を用いてｘに　　を代入したときの直線の予測値 　　⑩ 　と実際値の　　との差 　　⑪ 　　作成する。これを最小２乗残差という。

13 最小２乗残差の平均値と分散 残差 は理論的誤差 の実現値と見なして、ｎ 個のデータを用いて ｘ と ｙ の線形関係をよく把握したものである。
残差　　は理論的誤差　　の実現値と見なして、ｎ 個のデータを用いて ｘ と ｙ の線形関係をよく把握したものである。 ⑫残差の平均 ⑬残差の分散 残差の分散が小さいほど、回帰直線のフィット（当てはまり）の度合いはよく、ｎ個データの　　と　　の線形関係は強くなる

14 練習問題 予習：ｐｐ