独立成分分析 (ICA:Independent Component Analysis )

Slides:



Advertisements
Similar presentations
Mathematica による固有値計算の高速化 Eigenvalue calculation speed by Mathematica 情報工学部 06A2055 平塚翔太.
Advertisements

社会統計 第 14 回 主成分分析 寺尾 敦 青山学院大学社会情報学部
1 徹底討論「主成分分析 vs 因子分析」 主成分分析は因子分析ではない ! 狩野裕 (大阪大学) 日本行動計量学会第 30 回大会 於:多摩大学.
主成分分析 主成分分析は 多くの変数の中を軸を取り直すことで より低い次元で表現できるようにする。 データがばらついている方向ほど
グラフィカル多変量解析 ----目で見る共分散構造分析----
      ベクトル空間   実数体 体:数の集合で四則がその中で行えるもの 例)有理数全体、実数全体、複素数全体 R:実数体     C:複素数体  ベクトル空間
データ解析
A Q R QR分解とは? → × ◆QR分解 QTQ = I (単位行列) ◆応用例 ◆主な計算方法 n m 今回はこの方法に注目
数理統計学(第四回) 分散の性質と重要な法則
det(tA)=Σ sgn(σ)aσ(1)1aσ(2)2・・・aσ(n)n
多変量解析 -重回帰分析- 発表者:時田 陽一 発表日:11月20日.
9. 主成分分析 Principal Component Analysis (PCA)
データ解析 静岡大学工学部 安藤和敏
論文紹介 “Data Spectroscopy: Learning mixture models using eigenspaces of convolution operators” (ICML 2008) ─ by Tao Shi, Mikhail Belkin, and Bin Yu IBM東京基礎研究所.
AllReduce アルゴリズムによる QR 分解の精度について
回帰分析.
第12章 連続潜在変数 修士 1年 村下 昇平.
主成分分析                     結城  隆   .
      線形写像  線形写像 U,V:R上のベクトル空間 T:UからVへの写像 (1)T(u+v)=T(u)+T(v)  (u,v∈U),
コンパイラ(9) 情報工学科5年 担当 河田 進.
ー 第1日目 ー 確率過程について 抵抗の熱雑音の測定実験
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 データ入力 データ分析 報告書の作成.
ガウス過程による回帰 Gaussian Process Regression GPR
母集団と標本:基本概念 母集団パラメーターと標本統計量 標本比率の標本分布
13.1 パス解析 (1) 標準偏回帰係数 変数の標準化.
相関分析.
高次元データの解析 -平均ベクトルに関する検定統計量の 漸近分布に対する共分散構造の影響-
 統計学講義 第11回     相関係数、回帰直線    決定係数.
PCAからICAへ? 狩野裕+清水昌平 (大阪大学人間科学部) 日本行動計量学会:東京大学 平成12年10月.
独立成分分析 1.問題は何か:例:解法:全体の見通し 2007/10/17 名雪 勲.
1.標本平均の特性値 2.母分散既知の標本平均の分布 3.大数法則と中心極限定理
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
主成分分析 (Principle Component Analysis)
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
音素部分空間の統合による音声特徴量抽出の検討
細胞の形と変形のための データ駆動型解析手法
T2統計量・Q統計量 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
独立成分分析 5 アルゴリズムの安定性と効率 2007/10/24   名雪 勲.
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
多母集団の同時分析 豊本満喜子 大阪大学人間科学部.
「R入門」  5.7 行列に対する諸機能  10月23日 (木) 発表者 大城亜里沙.
標本分散の標本分布 標本分散の統計量   の定義    の性質 分布表の使い方    分布の信頼区間 
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
主成分分析 Principal Component Analysis PCA
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
Black Litterman Modelによる最適化
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
部分的最小二乗回帰 Partial Least Squares Regression PLS
プロセスデータ解析学5 -主成分分析- 担当:長谷部伸治     金 尚弘.
データの型 量的データ 質的データ 数字で表現されるデータ 身長、年収、得点 カテゴリで表現されるデータ 性別、職種、学歴
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
第3章 線形回帰モデル 修士1年 山田 孝太郎.
データ解析 静岡大学工学部 安藤和敏
母集団と標本抽出の関係 母集団 標本 母平均μ サイズn 母分散σ2 平均m 母標準偏差σ 分散s2 母比率p 標準偏差s : 比率p :
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
回帰分析(Regression Analysis)
確率と統計2007(最終回) 平成20年1月17日(木) 東京工科大学 亀田弘之.
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
相関分析 2次元データと散布図 共分散 相関係数.
◎小堀 智弘,菊池 浩明(東海大学大学院) 寺田 真敏(日立製作所)
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
Locally-Weighted Partial Least Squares LWPLS 局所PLS
パターン認識特論 カーネル主成分分析 和田俊和.
わかりやすいパターン認識 第6章 特徴空間の変換 6.5 KL展開の適用法 〔1〕 KL展開と線形判別法 〔2〕 KL展開と学習パターン数
心理学研究の自己点検(6): 心理学研究における 探索的因子分析の基本問題 企画・講演:堀 啓造氏
統計現象 高嶋 隆一 6/26/2019.
目次 はじめに 収束性理論解析 数値実験 まとめ 特異値計算のための dqds 法 シフトによる収束の加速
ランダムプロジェクションを用いた音響モデルの線形変換
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

独立成分分析 (ICA:Independent Component Analysis )

独立成分分析(ICA)とは いくつかの信号が混信した状態で受信された観測データか ら未知の信号源の信号を復元する手法 x:観測データ A:混合行列 s:信号源 x = As

ICAにおける制約 信号源の信号が互いに統計的に「独立」である事 信号源の信号が正規分布に従っていない事

「独立」とは 片方の変数がどのような値をとっても、もう片方の変数の分布は変わらないような状態 相関が0な状態 無相関とは、片方の変数がどのような値をとっても、もう一方の目の平均値が常に同じであるということを指しているに過ぎない。 独立性は無相関性よりもずっと強い性質

ICAの種類 Infomax FastICA JADE

FastICAの流れ 前処理 中心化 (標準化) 白色化 非ガウス性の最大化

中心化 平均値が0になるよう各値から平均値を引く事 →

標準化 単位や規模、数量レベルが異なる時、同じレベルで比較するために平均と分散を揃える。 (個々のデータ-平均値)/標準偏差

白色化 分散行列の固有値スペクトルを平坦にする 観測信号を線形に変換し,成分達が無相関で分散が1(共分散行列が単位行列Iと等しい) 特異値分解や主成分分析(PCA)を使用

特異値分解 行列に対する行列分解 無相関で分散を1にする事が可能 y = Ax A = UDVT UUT = VVT = I y = Ax U:左特異ベクトル D:特異値の対角行列 VT:右特異ベクトル (直交変換)  (増幅率)    (直交変換) A = UDVT 無相関で分散を1にする事が可能 UUT = VVT = I

白色化によって 白色化では独立成分を直交変換したものしか得られない 混合行列の探索を直交行列の空間内に絞る事ができる

FastICAの流れ 前処理 中心化 (標準化) 白色化 非ガウス性の最大化

非ガウス性 独立性を測る 手法の一つ ネゲントロピーによって非ガウス性を測る事が可能

ネゲントロピー エントロピーを正規化したもの J(y) = H(ygauss) ー H(y)

ネゲントロピーの最大化 ネゲントロピーの近似値:w 白色化済信号:z Δw ∝ γE{zg(wTz)}

ICAの曖昧性 独立成分の分散(大きさ)を決定する事はできない 独立成分の順序を決める事はできない