第4章 識別部の設計 4－5 識別部の最適化 発表日：2003年5月16日 発表者：時田 陽一

Presentation on theme: "第4章 識別部の設計 4－5 識別部の最適化 発表日：2003年5月16日 発表者：時田 陽一"— Presentation transcript:

1 第4章 識別部の設計 4－5 識別部の最適化 発表日：2003年5月16日 発表者：時田 陽一
わかりやすいパターン認識 第4章　識別部の設計 　4－5　識別部の最適化 発表日：2003年5月16日 発表者：時田　陽一

2 〔1〕識別部を決定するパラメータ 線形識別関数、ニューラルネットワーク、k-NN法（ノンパラメトリックな手法）
ハイパーパラメータを設定しなければならない 　　　　（識別機の“本来のパラメータのためのパラメータ”） ※ハイパーパラメータの設定は実用上極めて重要!! 　　　　　　　　　　　　　　　（識別性能に大きな影響を与える）

3 各手法におけるハイパーパラメータ 識別手法 ハイパーパラメータ 線形識別関数 関数の次数 ニューラルネットワーク 中間ユニット数 k-NN法

4 ハイパーパラメータの設定方法（1） クラスラベルつきパターン集合 ハイパーパラメータは未知パターンに対する識別性能を評価することで
　決定される 誤識別率の低いハイパーパラメータが望ましい ハイパーパラメータをλとする 全ての可能な未知パターンに対する識別機の誤識別率の 　　平均値として　　を求める 　　を最小にする　　　　　　を決定する 　　　　　　　　　　　　　　　　　　　　（Λ：λ全体の集合）

5 ハイパーパラメータの設定方法（2） 実際は、分布が未知なので単純に　　を計算できない 与えられたクラスラベル付パターン集合 　　から　　を推定する

6 〔2〕分割学習法 分割学習法（H法） の推定精度が良くない ：与えられたパターン集合の一部をテストパターン集合と みなす方法 手順
　　　：与えられたパターン集合の一部をテストパターン集合と 　　　　みなす方法 手順 X→X1（学習パターン集合）、X2（テストパターン集合）に分割 X1を用いて　　　　　の各値で識別機を設計 X2で識別性能を評価 問題点 学習パターン数が減少し、識別性能が劣化 学習パターン数を多くすると、テストパターン数が少なくなり、 　　　　　　　　 　　　　性能評価の信頼性が低下 の推定精度が良くない

7 〔3〕交差確認法 交差確認法（CV法） 手順 Xをm個のグループ に分割 Xiを除いた（m-1）個のグループパターンで学習した後
Xiの要素数＝1となるように分割する方法（一つ抜き法[L法]) 　がよく用いられている 全てのパターンが学習とテストに用いられているため 　H法より　　の推定精度が向上

8 〔4〕ブートストラップ法［１］ ブートストラップ法（BS法） (推定値がXの変動に対し安定)
　　　　　：CV法に比べ推定値の分散が小さくなる 　　　　　　　　　　　　　　　　　　　(推定値がXの変動に対し安定) Xを学習とテストの両方に利用してそのときの推定値を　　 とする 　　 は真値　　よりも小さくなる 　　　　　　　　　　　　　(学習パターン数がテストにも利用されたから) ずれを　　　　　　　　　とする Rをなんらかの方法で推定できれば　　　　　　　　として 　 真値　　を推定できる ●Xからn回の復元抽出により疑似パターン集合 　　　　　　　　　　　　　　を生成し、この　　　を用いて 　Rの推定値を求める

9 ブートストラップ法［２］ 手順 L法、BS法は、かなりの学習回数を要し、膨大な 計算時間を要するが、精度が良いことでこの欠点を カバーできる
（　　のサンプリング影響をなくすため） B個の疑似パターンについて　　　　　　　　　　を求めて 　それらの平均値を　　とする（　　　　　　　　　　） 　　　　　：　　を学習とテストの両方に用いたもの 　　　　　：　　を学習に、Xをテストに用いたもの 求めるべき推定値は　　　　　 となる L法、BS法は、かなりの学習回数を要し、膨大な 計算時間を要するが、精度が良いことでこの欠点を カバーできる