カーネル法のトレンド： 非線形化から統計的検定へ ICML2007勉強会，東京工業大学，東京 2007年8月20日 カーネル法のトレンド： 非線形化から統計的検定へ 杉山　将 東京工業大学　計算工学専攻 http://sugiyama-www.cs.titech.ac.jp/~sugi/ sugi@cs.titech.ac.jp

ヒルベルト空間 ヒルベルト空間：完備な内積空間 完備：距離空間における任意のコーシー列がその空間内の 点に収束する 完備：距離空間における任意のコーシー列がその空間内の 　　　点に収束する 距離空間：任意の２点間の距離が定められた集合 コーシー列：十分先の方でほとんど値が変化しない数列 内積空間：内積の定義されたベクトル空間 ベクトル空間：和とスカラー倍が定義された集合 ヒルベルト空間の利点： いつでも射影（最良近似）が存在する． コーシー・シュワルツの不等式が使える．

（再生性，または，“カーネルトリック”） 再生核ヒルベルト空間（RKHS) 再生核ヒルベルト空間：　　　　　　　　　　再生核を持つ関数ヒルベルト空間 関数ヒルベルト空間：　　　　　　　　　　　　関数を要素に持つヒルベルト空間 再生核ヒルベルト空間　　の再生核 任意の固定した　　に対して，　　　　　　　は　　　 の元 　　の任意の元　　と任意の　　に対して， （再生性，または，“カーネルトリック”）

RKHSの使い方１：非線形化 入力点 に対する特徴ベクトルを次式で定義： 入力点　　に対する特徴ベクトルを次式で定義： 線形の学習アルゴリズムが入力ベクトルの内積のみで表現できるとき，特徴空間でそのアルゴリズムを実行すると，もとの空間では非線形になる． 入力空間 特徴空間

応用例 回帰・分類 クラスタリング 外れ値検出 次元削減 サポートベクターマシン カーネルフィッシャー判別分析 カーネル最近傍法 カーネルK平均法 外れ値検出 1クラスSVM, SVデータ記述 次元削減 カーネル主成分分析

RKHSの使い方２：統計的検定 普遍(universal)RKHS：厳密な定義は省略 ガウシアンRKHSは普遍RKHS 分布の違い：最大平均相違 独立性： 相互共分散作用素，相互相関作用素 Steinwart (JMLR2001) Gretton et al. (NIPS2006) Bach & Jordan (JMLR2002) Fukumizu et al. (JMLR2004) Gretton et al. (JMLR2005, ALT2005)

分布の違いの検定 二つの分布　　　　　　　が同じかどうか調べたい． 古典： コルモゴロフ・スミルノフ検定 高次元では難しい．

最大平均相違(MMD) 普遍RKHS内の単位超球 に対して， 直感的な解釈：全ての積率が一致すれば， 二つの分布は等しい． Gretton et al. (NIPS2006) 普遍RKHS内の単位超球　　に対して， 直感的な解釈：全ての積率が一致すれば，　　二つの分布は等しい． 　　　　　　　:期待値 　　　　　　　:分散

再生核を用いたMMDの陽表現 （再生性） （コーシー・シュワルツの不等式） よって

MMDの経験近似 i.i.d.標本が与えられると仮定： このとき，MMDの二乗の経験近似は この統計量の分布を調べれば，　　　　　　が　同じ分布かどうか検定できる．

Borgwardt et al. (Bioinformatics2006) MMDの応用例 バイオインフォマティックスにおける分布の違いの検定 共変量シフトにおける重要度の推定（カーネル平均適合） 　　　　　　と　　　　が一致するように　　　　を決定．　 Borgwardt et al. (Bioinformatics2006) Huang et al. (NIPS2006) 　　　：重要度

独立性の検定 二つの確率変数　　　が独立かどうか調べたい． 古典：相互情報量 密度推定を行なう必要があるため，高次元ではうまくいかない．

相互共分散作用素 相互共分散作用素： 普遍RKHS に対して， は独立 ： への特徴変換 ： への特徴変換 　　　　：　　への特徴変換 　　　　：　　への特徴変換 Bach & Jordan (JMLR2002) Fukumizu et al. (JMLR2004) Gretton et al. (JMLR2005, ALT2005) 　　　は独立

作用素の“大きさ”の評価の仕方 作用素ノルム：最大固有値 行列式：固有値の積 ヒルベルト・シュミットノルム：固有値の和 カーネル正準相関分析 カーネル拘束分散 Bach & Jordan (JMLR2002) Gretton et al. (JMLR2005) カーネル一般化分散 カーネル相互情報量 Bach & Jordan (JMLR2002) Fukumizu et al. (JMLR2004) Gretton et al. (JMLR2005) ヒルベルト・シュミット独立性規準 (HSIC) Gretton et al. (ALT2005)

再生核を用いたHSICの陽表現 より， 　　　　　　　：　　の再生核 　　　　　　　：　　の再生核

HSICの経験近似 標本 が与えられると仮定． このとき，HSICの二乗の経験近似は 標本　　　　　　　　　が与えられると仮定． このとき，HSICの二乗の経験近似は この統計量の分布を調べれば，　　　　が独立かどうか検定できる． カーネルの選び方によって，様々な従来法が再現できる．

応用例 独立成分分析 次元削減・特徴選択 クラスタリング 分解後の成分同士が最も独立になるようにする． 入力と出力の独立性を調べ Bach & Jordan (JMLR2002) Gretton et al. (JMLR2005) 独立成分分析 分解後の成分同士が最も独立になるようにする． 次元削減・特徴選択 入力と出力の独立性を調べ 最も独立なものを取り除いていく． 最も従属なものを選んでいく． クラスタリング 入力と最も従属になるようなラベルを付与する． Song et al. (ICML2007b) Fukumizu et al. (JMLR2004) Song et al. (ICML2007a)

まとめ カーネル・トリックの応用は，アルゴリズムの非線形化から，統計的検定に広がっている． カーネル統計的検定において，ガウシアンの幅はどうやって決めればよいか？ 相互共分散作用素は正規化していないため，次元削減やクラスタリングでは相互相関作用素を使うべき？ 次元削減では，条件付き相関を使うべき？ 理論的に面白く汎用性はあるが，本当に実用的か？