発表日：平成１５年４月２５日 担当者：時田 陽一 担当箇所：第３章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則 わかりやすいパターン認識 発表日：平成１５年４月２５日 担当者：時田 陽一 担当箇所：第３章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則
[1] 学習のための評価関数 パーセプトロンの学習規則の欠点 線形分離可能であることが必要 一般に、線形分離可能か不可能かを (誤識別を0にする線形識別関数が 存在することを前提としなくてはならない) 一般に、線形分離可能か不可能かを 事前に確認することは困難 線形分離不可能な学習パターンでは、 誤り訂正の手続きを無限に繰り返し解に到達することができない。 途中で打ち切ってもそのときの重みが最適であるとは限らない。
[1] 学習のための評価関数 学習パターン： C個の識別関数の出力： ωc ω1 ωi 教師ベクトル(教師信号)： 割り当てるとすると教師ベクトルti はc個用意すればよい 例. ・・・・・(3.2) x ・・・・・・・ ・・・・・・・・・ ti ωc tc ω1 教師ベクトル t1 ωi
[1] 学習のための評価関数 入力xpに対する誤差： 誤差の二乗和を評価関数Jpとする(重みベクトルwiの関数)
[1] 学習のための評価関数 全パターンに対する二乗誤差J ・・・(3.9) 最適な重みベクトルwはこれが最小となるもの
[1] 学習のための評価関数
[1] 学習のための評価関数 C=2(2クラス)の場合重みベクトルは一つでよい bpの設定例
［2］閉じた形の解 J(w)に対しての勾配ベクトル(gradient vector) ２乗誤差 の最小解を求める方法 これを解けばよい 勾配≠0 これを解けばよい 勾配＝０
［2］閉じた形の解 パターン行列(n×(d＋1)型行列) X： クラスiの教師信号(i=1,2,・・・,c)： このように定義すると ・・・・・・・・・・・・・(3.20)
［2］閉じた形の解 式(3.20)より が正則であるとすると 線形判別法の特殊な場合と解釈できる (i=1,2,・・・,c) ・式(3.2)（教師ベクトルの例）は異なるクラスには互いに 区別のしやすい教師ベクトルを対応させることを示している ・全パターンに対する2乗誤差（式(3.9)）を最小化することは、 同じクラスのパターンを同じ教師ベクトルの近傍に集中させることを示している 線形判別法の特殊な場合と解釈できる
[3]逐次近似による解 閉じた形の解では あまり実用的ではない 逐次近似により重みを決定する方法(最急降下法) が正則でない場合には適用できない dが大きいと計算量が膨大 あまり実用的ではない 逐次近似により重みを決定する方法(最急降下法)
[3]逐次近似による解 重みベクトル 最終的にJの最小解に到達 逐次更新される ρ：刻み幅(正定数) 以降はパターンが示されるたびに修正を行うことにする (i=1,2,・・・,c)
[3]逐次近似による解 (gi(xp)をgipと略記する) ・右辺第1項 ・右辺第2項
[3]逐次近似による解 Widrow-Hoff の学習規則(Widrow-Hoff learning rule) 重みベクトルはこのように逐次更新されていく Widrow-Hoff の学習規則(Widrow-Hoff learning rule) デルタルール(delta rule)、直交化学習、最小二乗学習などとも呼ばれる