データ解析 http://coconut.sys.eng.shizuoka.ac.jp/data/ 静岡大学工学部 安藤和敏 2005.12.14.

Slides:



Advertisements
Similar presentations
果物識別 補足資料 1. やりたい事  入力された画像内に映っている果物が何かを自動判 別するプログラムを組むこと 識別器 りんご です.
Advertisements

社会統計 第 14 回 主成分分析 寺尾 敦 青山学院大学社会情報学部
Absolute Orientation. Absolute Orientation の問題 二つの座標系の間における剛体 (rigid body) 変換を復元す る問題である。 例えば: 2 台のステレオカメラから得られた3次元情報の間の関 係を推定する問題。 2 台のステレオカメラから得られた3次元情報の間の関.
1 線形代数学. 2 履修にあたって 電子情報システム学科 必修 2005 年度1セメスタ開講 担当 草苅良至 (電子情報システム学科) 教官室: G I 511 内線: 2095 質問等は上記のいずれかに行なうこと。 注意計算用のノートを準備すること。
主成分分析 主成分分析は 多くの変数の中を軸を取り直すことで より低い次元で表現できるようにする。 データがばらついている方向ほど
グラフィカル多変量解析 ----目で見る共分散構造分析----
データ解析
データ分析入門(12) 第12章 単回帰分析 廣野元久.
因子分析,共分散構造分析 Factor Analysis Structural Equations Model
阪神・中日選手の 時系列傾向分析  福元 祥二  渡部 達朗.
多変量解析 -重回帰分析- 発表者:時田 陽一 発表日:11月20日.
9. 主成分分析 Principal Component Analysis (PCA)
データ解析 静岡大学工学部 安藤和敏
4.3 連立1次方程式   Ax = b   (23) と書くことができる。
論文紹介 “Data Spectroscopy: Learning mixture models using eigenspaces of convolution operators” (ICML 2008) ─ by Tao Shi, Mikhail Belkin, and Bin Yu IBM東京基礎研究所.
林俊克&廣野元久「多変量データの活用術」:海文堂
生物統計学・第3回 全体を眺める(2) 主成分分析
Bassモデルにおける 最尤法を用いたパラメータ推定
上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日(土)
回帰分析.
IT入門B2 ー 連立一次方程式 ー.
第3章 重回帰分析 ー 計量経済学 ー.
第3章 重回帰分析 ー 計量経済学 ー.
線形代数学 4.行列式 吉村 裕一.
第12章 連続潜在変数 修士 1年 村下 昇平.
データ分析入門(13) 第13章 主成分分析 廣野元久.
主成分分析                     結城  隆   .
透視投影(中心射影)とは  ○ 3次元空間上の点を2次元平面へ投影する方法の一つ  ○ 投影方法   1.投影中心を定義する   2.投影平面を定義する
主成分分析と因子分析 による競馬の勝因の研究
2016年度 植物バイオサイエンス情報処理演習 第10回 情報解析(3) Rを使った主成分分析
ガウス過程による回帰 Gaussian Process Regression GPR
果物識別 マハラノビス距離を求める.
データ解析 静岡大学工学部 安藤和敏
独立成分分析 1.問題は何か:例:解法:全体の見通し 2007/10/17 名雪 勲.
プログラミング論 II 2008年吉日 主成分分析 数値積分
第9章 混合モデルとEM 修士2年 北川直樹.
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
主成分分析 (Principle Component Analysis)
T2統計量・Q統計量 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
データ解析 静岡大学工学部 安藤和敏
独立成分分析 5 アルゴリズムの安定性と効率 2007/10/24   名雪 勲.
独立成分分析 (ICA:Independent Component Analysis )
知能システム論I(13) 行列の演算と応用(Matrix) 2008.7.8.
主成分分析 Principal Component Analysis PCA
プログラミング論 主成分分析
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
部分的最小二乗回帰 Partial Least Squares Regression PLS
プロセスデータ解析学5 -主成分分析- 担当:長谷部伸治     金 尚弘.
データの型 量的データ 質的データ 数字で表現されるデータ 身長、年収、得点 カテゴリで表現されるデータ 性別、職種、学歴
4. システムの安定性.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
データ解析 静岡大学工学部 安藤和敏
データ構造とアルゴリズム (第5回) 静岡大学工学部 安藤和敏
データ解析 静岡大学工学部 安藤和敏
データ解析 静岡大学工学部 安藤和敏
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
◎小堀 智弘,菊池 浩明(東海大学大学院) 寺田 真敏(日立製作所)
精密工学科プログラミング基礎 第7回資料 (11/27実施)
行列 一次変換,とくに直交変換.
Locally-Weighted Partial Least Squares LWPLS 局所PLS
重回帰分析入門 (第5章補足) 統計学 2007年度.
モデルの微分による非線形モデルの解釈 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
パターン認識特論 カーネル主成分分析 和田俊和.
わかりやすいパターン認識 第6章 特徴空間の変換 6.5 KL展開の適用法 〔1〕 KL展開と線形判別法 〔2〕 KL展開と学習パターン数
精密工学科プログラミング基礎Ⅱ 第2回資料 今回の授業で習得してほしいこと: 配列の使い方 (今回は1次元,次回は2次元をやります.)
生物統計学・第11回 全体を眺める(3) -主成分分析1:分析の基本-
混合ガウスモデル Gaussian Mixture Model GMM
8.数値微分・積分・微分方程式 工学的問題においては 解析的に微分値や積分値を求めたり, 微分方程式を解くことが難しいケースも多い。
Presentation transcript:

データ解析 http://coconut.sys.eng.shizuoka.ac.jp/data/ 静岡大学工学部 安藤和敏 2005.12.14

主成分分析のデータ (変数が3個の場合) No 変数 x 変数 y 変数 z 1 x1 y1 z1 2 x2 y2 z2 … i xi yi xn yn zn

合成変数 u を満たす a, b, c に対して, という変数変換を考える.

uの分散

uの分散の最大化 条件 を満足する [a,b,c] のうちで, を最大にするものを求めたい.

主成分の必要条件 を最大にする [a,b,c]は,以下の方程式の 解である必要がある. つまり,そのような[a,b,c]は,分散共分散行列の 固有ベクトル(で長さが1のもの)である.

主成分の十分条件

主成分の必要十分条件 uの分散 の極値を与える [a,b,c] は, 分散共分散行列 の固有ベクトル であり,そのとき, (=固有ベクトル)となる. したがって,   の最大値を与える[a,b,c]は,分散 共分散行列の最大の固有値に属する固有ベクトル (で,長さが1のもの)である.

合成変数 u を満たす [a, b, c, d, e] に対して, という変数変換を考える.

分散共分散行列 とする.

uの分散 3変数のときと同様にして, であることが分かる. さらに,u の分散を最大化する[a, b, c, d, e]は, Sの最大の固有値λ1に属する固有ベクトルである.

主成分の必要条件 を最大にする [a,b,c,d,e]は,以下の方程式の 解である必要がある. 列Sの固有ベクトル(で長さが1のもの)である.

主成分の必要十分条件 [a,b,c,d,e]が, Sの固有値λに属する固有ベクトル であるならば,

第1主成分 Sの最大固有値λ1に属する固有ベクトル [a1,b1,c1,d1,e1] を係数として得られる合成変数 が主成分である. 以降では,uを第1主成分と呼んでu1と書くことにしよう. すなわち,

分散共分散行列の固有値 の固有値をλ1>λ2 > λ3 > λ4 > λ5 とする.

第2主成分 2番目に大きい固有値λ2 に属する固有ベクトル(で長さが1のもの)を[a2,b2,c2,d2,e2]とする. は第2主成分と呼ばれる. u2の分散は,第1主成分 に次いで2番目に大きい分散を与える. なぜならば,

第2主成分 [a2,b2,c2,d2,e2]が,Sの固有値λ2に属する固有ベク トルであるので,

第3,第4,第5主成分 3番目に大きい固有値λ3 に属する固有ベクトル(で長さが1のもの)を[a3,b3,c3,d3,e3]とする. は第3主成分呼ばれ,u3の分散はλ3となる. 以下同様に,第4主成分,第5主成分も定義される.

寄与率 第1主成分u1 の寄与率C1は, で定義される. u1の寄与率は,与えられた多変量デ あると解釈できる(⇒p.12を見よ).

寄与率 一般に第i主成分ui の寄与率Ciは, で定義される. uiの寄与率は,与えられた多変量デ あると解釈できる(⇒p.12を見よ).

累積寄与率 第1主成分u1 の寄与率C1はと第2主成分u2 の寄与率C2の和 は第2主成分までの累積寄与率と呼ばれる. これは,第1主成分u1と第2主成分u2の2つの合成変数によって,与えられた多変量データの情報をどの程度表現しているかを示す指標である.

累積寄与率 以下同様に,第3主成分までの累積寄与率, 第4主成分までの累積寄与率も同様に定義される. これらの量の意味するところはもはや明らかであろう.

とりあげる主成分の数 第1主成分u1 の寄与率C1が十分大きいもので あれば,もうこれ以上の主成分を調べる必要はない 第2主成分まで調べる必要がある.そこで,第2主成 分までの累積寄与率もまだ満足いくものでなければ, 累積寄与率が満足がいく数字になるまで,以降の主 成分を調べていく. ただし,とりあげる主成分の数を増やすことは,与え られたデータを少ない変数で表現するという,主成分 分析本来の目的に反するので,望ましいことではない.

主成分の解釈 主成分の意味を考えるための手助けになるものと して,変量プロットと主成分得点プロットがある.両方とも,視覚的に主成分を捕らえるためのものである.

変量プロット 第1,第2主成分u1 ,u2 が,それぞれ以下の式で表されているとする. 以下の5つの点を二次元平面にプロットしたものが,変量プロットである.

主成分得点プロット 2つの主成分,例えばu1 とu2 を考えて,以下の式によって,各データ[xi, yi, zi, vi, wi]の第1,第2主成分得点を計算する. こうして得られるn個の点 を2次元平面上にプロットしたものが主成分得点プロットである.

Excelで学ぼう ファイル:第3章/3_3

本日のまとめ 第i主成分uiがどのようにして得られるかを理解した.(データの分散共分散行列のi番目に大きい固有値λiに属する固有ベクトルから得られる.) 寄与率,累積寄与率の定義とその意味を理解した. Excelを用いて,第i主成分ui主成分を計算する方法,第i主成分得点を計算する方法を理解した. 変量プロット,主成分得点プロットの概念,及び,Excelを用いてこれらのプロットの求め方を理解した.