発表日：平成１５年４月２５日 担当者：時田 陽一 担当箇所：第３章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則

Presentation on theme: "発表日：平成１５年４月２５日 担当者：時田 陽一 担当箇所：第３章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則"— Presentation transcript:

1 発表日：平成１５年４月２５日 担当者：時田 陽一 担当箇所：第３章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則
わかりやすいパターン認識 発表日：平成１５年４月２５日 担当者：時田　陽一 担当箇所：第３章　誤差評価に基づく学習 　　　　　　　　3.1　Widrow-Hoffの学習規則

2 [1] 学習のための評価関数 パーセプトロンの学習規則の欠点 線形分離可能であることが必要 一般に、線形分離可能か不可能かを
　　　(誤識別を0にする線形識別関数が 　　　　　　存在することを前提としなくてはならない) 一般に、線形分離可能か不可能かを 　　　　　　　　　　事前に確認することは困難 線形分離不可能な学習パターンでは、 　　誤り訂正の手続きを無限に繰り返し解に到達することができない。 　　途中で打ち切ってもそのときの重みが最適であるとは限らない。

3 [1] 学習のための評価関数 学習パターン： C個の識別関数の出力： ωc ω1 ωi 教師ベクトル(教師信号)：
割り当てるとすると教師ベクトルti はc個用意すればよい 　　例. ・・・・・(3.2) x ・・・・・・・ ・・・・・・・・・ ti ωc tc ω1 教師ベクトル 　　t1 ωi

4 [1] 学習のための評価関数 入力xpに対する誤差： 誤差の二乗和を評価関数Jpとする(重みベクトルwiの関数)

5 [1] 学習のための評価関数 全パターンに対する二乗誤差J ・・・(3.9) 最適な重みベクトルwはこれが最小となるもの

6 [1] 学習のための評価関数

7 [1] 学習のための評価関数 C=2(2クラス)の場合重みベクトルは一つでよい bpの設定例

8 ［2］閉じた形の解 J(w)に対しての勾配ベクトル(gradient vector) ２乗誤差 の最小解を求める方法 これを解けばよい
勾配≠0 これを解けばよい 勾配＝０

9 ［2］閉じた形の解 パターン行列(n×(d＋1)型行列) X： クラスiの教師信号(i=1,2,・・・,c)： このように定義すると
・・・・・・・・・・・・・(3.20)

10 ［2］閉じた形の解 式(3.20)より が正則であるとすると 線形判別法の特殊な場合と解釈できる (i=1,2,・・・,c)
・式(3.2)（教師ベクトルの例）は異なるクラスには互いに 　　　　　　　　　　区別のしやすい教師ベクトルを対応させることを示している ・全パターンに対する2乗誤差（式(3.9)）を最小化することは、 　　　同じクラスのパターンを同じ教師ベクトルの近傍に集中させることを示している 線形判別法の特殊な場合と解釈できる

11 [3]逐次近似による解 閉じた形の解では あまり実用的ではない 逐次近似により重みを決定する方法(最急降下法)
　　　　　が正則でない場合には適用できない dが大きいと計算量が膨大 あまり実用的ではない 逐次近似により重みを決定する方法(最急降下法)

12 [3]逐次近似による解 重みベクトル 最終的にJの最小解に到達 逐次更新される ρ：刻み幅(正定数)
以降はパターンが示されるたびに修正を行うことにする (i=1,2,・・・,c)

13 [3]逐次近似による解 (gi(xp)をgipと略記する) ・右辺第1項 ・右辺第2項

14 [3]逐次近似による解 Widrow-Hoff の学習規則(Widrow-Hoff learning rule)
重みベクトルはこのように逐次更新されていく Widrow-Hoff の学習規則(Widrow-Hoff learning rule) デルタルール(delta rule)、直交化学習、最小二乗学習などとも呼ばれる