9. 主成分分析 Principal Component Analysis (PCA)

Slides:



Advertisements
Similar presentations
Mathematica による固有値計算の高速化 Eigenvalue calculation speed by Mathematica 情報工学部 06A2055 平塚翔太.
Advertisements

社会統計 第 14 回 主成分分析 寺尾 敦 青山学院大学社会情報学部
Example 8 種類のチーズの塩分量 : m = 325 Q 3 = 340 m Q 1 = Q3Q3Q3Q3 Q1Q1Q1Q1.
主成分分析 主成分分析は 多くの変数の中を軸を取り直すことで より低い次元で表現できるようにする。 データがばらついている方向ほど
データ解析
因子分析,共分散構造分析 Factor Analysis Structural Equations Model
時系列の予測 時系列:観測値を時刻の順に並べたものの集合
阪神・中日選手の 時系列傾向分析  福元 祥二  渡部 達朗.
多変量解析 -重回帰分析- 発表者:時田 陽一 発表日:11月20日.
補章 時系列モデル入門 ー 計量経済学 ー.
10.時系列データの解析 time-series data
北日本における4月と8月気温の強い相関関係とその時間変動(2)
データ解析 静岡大学工学部 安藤和敏
相関係数 植物生態学研究室木村 一也.
第4回 (10/16) 授業の学習目標 先輩の卒論の調査に協力する。 2つの定量的変数間の関係を調べる最も簡単な方法は?
林俊克&廣野元久「多変量データの活用術」:海文堂
生物統計学・第3回 全体を眺める(2) 主成分分析
心理統計学 II 第7回 (11/13) 授業の学習目標 相関係数のまとめと具体的な計算例の復習 相関係数の実習.
回帰分析.
相関と回帰:相関分析 2つの変量それぞれが正規分布にしたがってばらつく量であるとき,両変数の直線的な関係を相関分析する. 例:兄弟の身長
第3章 重回帰分析 ー 計量経済学 ー.
データ分析入門(13) 第13章 主成分分析 廣野元久.
主成分分析                     結城  隆   .
回帰分析/多変量分析 1月18日.
主成分分析と因子分析 による競馬の勝因の研究
高校数学の知識から、 人工知能・機械学習・データ解析へ つなげる、 必要最低限の教科書
CMIP5マルチ気候モデルにおける ヤマセに関連する大規模大気循環の 再現性と将来変化(その2)
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 データ入力 データ分析 報告書の作成.
補章 時系列モデル入門 ー 計量経済学 ー.
近年の北極振動の増幅 Recent Arctic Oscillation amplification
2005/06年冬季における 北半球環状モード変動の 予測可能性について
13.1 パス解析 (1) 標準偏回帰係数 変数の標準化.
相関分析.
 統計学講義 第11回     相関係数、回帰直線    決定係数.
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
主成分分析 (Principle Component Analysis)
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
T2統計量・Q統計量 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
講義ノート(ppt)は上記web siteで取得可 #但し、前日に準備すると思われるのであまり早々と印刷しない方が身の為
「R入門」  5.7 行列に対する諸機能  10月23日 (木) 発表者 大城亜里沙.
冬季北大西洋振動が 翌冬の日本の気候に与える影響
独立成分分析 (ICA:Independent Component Analysis )
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
主成分分析 Principal Component Analysis PCA
藤田保健衛生大学医学部 公衆衛生学 柿崎 真沙子
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
部分的最小二乗回帰 Partial Least Squares Regression PLS
プロセスデータ解析学5 -主成分分析- 担当:長谷部伸治     金 尚弘.
データの型 量的データ 質的データ 数字で表現されるデータ 身長、年収、得点 カテゴリで表現されるデータ 性別、職種、学歴
CMIP3/CMIP5気候モデルにおける ヤマセに関連する大規模大気循環の再現性 ~モデル解像度による違い~
CMIP5気候モデルにおける ヤマセの将来変化
データ解析 静岡大学工学部 安藤和敏
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
回帰分析(Regression Analysis)
MIROC5による将来のヤマセの再現性について(2)
物理フラクチュオマティクス論 応用確率過程論 (2006年4月11日)
藤田保健衛生大学医学部 公衆衛生学 柿崎 真沙子
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
相関分析 2次元データと散布図 共分散 相関係数.
最小二乗法による線形重回帰分析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
Locally-Weighted Partial Least Squares LWPLS 局所PLS
パターン認識特論 カーネル主成分分析 和田俊和.
わかりやすいパターン認識 第6章 特徴空間の変換 6.5 KL展開の適用法 〔1〕 KL展開と線形判別法 〔2〕 KL展開と学習パターン数
回帰分析入門 経済データ解析 2011年度.
rd-7. 主成分分析 (Rシステムでデータサイエンス演習)
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

9. 主成分分析 Principal Component Analysis (PCA) 気象学(In Meteorology)では経験的直交関数分析 (Empirical Orthogonal Function Analysis) EOF 解析ともいう。 互いに相関のある多種類の特性値のもつ情報を互いに無相関な少数個の総合特性値に要約する手法である。 (Statistical method for summary of the data) Example:   ○多くの科目の得点。(数学、英語、、;学生)     Math, English, : students   ○多くの地点の気温時系列データ     (札幌、東京、、、、、;1970,71,….2005) Temperature at Sapporo, Tokyo, : years

sum

Xij X1 X2 ……….. Xp 1 X11 X12 X1p 2 X21 X22 X2p . n Xn1 Xn2 ……. Xnp 平均 特性値(例えば、地点) Data: observation point データ | 特性値 X1 X2 ……….. Xp 1 X11 X12 X1p 2 X21 X22 X2p . n Xn1 Xn2 ……. Xnp 平均 [X1] [X2] [Xp] データ(例えば、年) Data: year

分散共分散行列:対称行列 Variance-covariance matrix

[条件]:conditions rotation of axis 1) 第1主成分Z1の係数(L1,j)は(2)の束縛条件のもとで、Z1の分散が最大となるように定める。(To maximize the variance of Z1) 2) 第2主成分Z2の係数は、(2)を満たし、かつ、Z2がZ1と無相関(直交する)の条件のもとで Z2の分散が最大になるように定める。(Z1 and Z2 are orthogonal)

ラグランジェの未定乗数法

分散共分散行列の固有値・固有ベクトル(Eigen-value and Eigen vector of the Matrix)

固有ベクトルは より 比が求まり 束縛条件 から 規格化したベクトルが求まる。

固有ベクトルの性質から したがって、分散は固有値に等しい。 最大の固有値とそれに対応する固有ベクトルがZ1を与える。第1主成分という。

根と係数の関係から 固有値の和は全分散に等しい。 一般に、固有値の和は全分散に等しい。 J の寄与率という

第2主成分は、同様に求めるが、結局、2番目に大きい固有値に対応する固有ベクトルとなる。 以下、同様。 結局、分散共分散行列の固有値問題を解き、固有値の大きい順に対応する固有ベクトルを係数とするものが順次、主成分となる。 K番目が、第k主成分。

主成分得点(スコア) 図のOH

再規格化 主成分ベクトル:単位あり。スコアが1のときの主成分パターンとなる。 スコア時系列:標準偏差が1に規格化。

主成分分析の手順 データから分散共分散行列または相関行列を計算する。 固有値・固有ベクトルを求める。 固有値の大きいものから、だい1,2、。。。主成分となる。 スコア(PC)時系列を求める。 PCの分散が1になるよう規格化。(固有値のルート)

Rule of thumb (North) 一般に固有ベクトル(主成分パターン)は定在的な空間パターンを表す。 連続する固有値(ベクトル)が別のものか、どうか。 移動性のものは2つのパターンとして現れることが多い。

例2

北極振動または北半球環状モード(Arctic Oscillation or Northern Annular Mode) EOF1 of the winter NH SLP 北極振動にともなう海面気圧偏差。等値線間隔は0.5hPa。負の領域に陰影

冬(12,1,2月平均)の北極振動指数(○つき実線)と札幌の平均気温(太実線)。

IPCC第4次報告書10章 Figure 10.17

「実践!気候データ解析(松山・谷本)」より 北大西洋海面水温のEOF1 「実践!気候データ解析(松山・谷本)」より 空間EOF1 時間EOF1

主成分と回帰直線の違い Y 主成分軸からの距離の自乗和を最小にする。 回帰直線とのy軸方向の差(dy)の自乗和を最小にする X

正準相関分析 Canonical correlation 2組の互いに相関のあるデータがある。 X1, X2, …………, Xs Y1, Y2, ……………., Yt (sとtは異なっても良い) r1

1) uk, vk の平均0、分散1 2) uk, um は無相関 (k =/ m) 3) vk, vm は無相関 (k =/ m) 以下の条件を満たすとき、u, v を正準変量( canonical variable ) といい、uk と vk の相関係数 rk を第 k 正準相関 (canonical correlation) という。 1) uk, vk の平均0、分散1 2) uk, um は無相関 (k =/ m) 3) vk, vm は無相関 (k =/ m) 4) uk, vm は無相関 (k =/ m) 5) uk と vk の相関は rk で大きさの順。

結合-EOF は左の行列(2つの変数を合わせたもの)の固有値・固有ベクトル。 Rはs行 t 列の行列 正準相関分析は上記を解く。

特異値分解 (singular value decomposition: SVD)

「実践!気候データ解析(松山・谷本)」より