線形判別分析 Linear Discriminant Analysis LDA

Presentation on theme: "線形判別分析 Linear Discriminant Analysis LDA"— Presentation transcript:

1 線形判別分析 Linear Discriminant Analysis LDA
明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌

2 線形判別分析 (LDA) とは？ 線形判別分析 (Linear Discriminant Analysis, LDA)
2つのクラスを “最もよく判別する” 直線を引く 1次元(z)に線形写像し、zで2つのクラスを識別する クラスが3つ以上あるときにも対応できる x2 z クラス1 クラス-1 x1

3 “最もよく判別する” とは？ ① 各クラスのサンプルは固まっている z でのクラス内のばらつき VWz
② クラス1(赤) とクラス-1(青)は散らばっている z でのクラス内のばらつき VWz : クラス k のみの zの平均 z でのクラス間のばらつき VBz

4 重み w の求め方 ① 各クラスのサンプルは固まっている z でのクラス内のばらつき VWz
② クラス1(赤) とクラス-1(青)は散らばっている z でのクラス間のばらつき VBz VWz が小さく(①)、VBz が大きくなる(②) 直線を引く (w1, w2を求める) が最大になるw1, w2を求める

5 J の整理 : クラス k のみの x の平均ベクトル ただし、

6 w を求める J が最大値 J が極大値 J を w で偏微分して0 スカラ wの大きさは気にしなくてよい

7 クラス分類の結果の評価 混同行列 (confusion matrix) 正解率 = 検出率 = 精度 = 誤検出率 = など
予測されたクラス 1 (Positive, 陽性) -1 (Negative, 陰性) 実際の クラス True Positive (TP) False Negative (FN) False Positive (FP) True Negative (TN) TP + TN TP 正解率 = 検出率 = TP + FN + FP + TN TP + FN TP FP 精度 = 誤検出率 = など TP + FP FP + TN

8 クラス分類の結果の評価 例 混同行列 (confusion matrix) 正解率 = = 0.79 検出率 = = 0.90 精度 =
予測されたクラス 1 (Positive, 陽性) -1 (Negative, 陰性) 実際の クラス 45 5 20 50 45 正解率 = = 0.79 検出率 = = 0.90 45 + 5 45 20 精度 = = 0.69 誤検出率 = = 0.29

9 (参考) Kappa係数 実際と予測結果の一致度を評価する指標
Positive(陽性)データとNegative(陰性)データの偏りがある時に有効 正解率 － 偶然による一致率 Kappa係数 = 1 － 偶然による一致率 TP + FN TP + FP FP + TN FN + TN 偶然による一致率 = × ＋ × A A A A ( A = TP + FN + FP + TN ) 予測されたクラス 1 (Positive, 陽性) -1 (Negative, 陰性) 実際の クラス True Positive (TP) False Negative (FN) False Positive (FP) True Negative (TN)