わかりやすいパターン認識 第３章　誤差評価に基づく学習 ３．３　誤差逆伝播法.

Presentation on theme: "わかりやすいパターン認識 第３章　誤差評価に基づく学習 ３．３　誤差逆伝播法."— Presentation transcript:

1 わかりやすいパターン認識 第３章　誤差評価に基づく学習 ３．３　誤差逆伝播法

2 ニューラルネットワーク(neural network）
複数のしきい値論理ユニットを含む層を、入力層から出力層まで多数並べたネットワーク しきい値論理ユニット 入力層 中間層 出力層

3 ニューラルネットワーク(neural network）
ユニット間の結合は隣接する層間でのみ存在する 入力層から出力層へ向かう一方向 区分的線形識別関数と等価 　パーセプトロンは中間層を持たず入力層と出力層からなる２層のネットワーク

4 誤差逆伝播法 (back propagation method)
ニューラルネットワーク：有効な学習方法が知られていなかった パーセプトロンの学習規則：学習できるのは最終層のみで中間層には無力 これまでの学習法の欠点を解決、多層のネットワークにまで学習の適用範囲を拡張

5 誤差逆伝播法 (back propagation method)
　隣接する３つの層を考え、ある層におけるｊ番目のユニットについて P番目のパターン　　（　　　　）を入力 ユニットｊへの入力 ユニットｊの出力

6 二乗誤差 パターンｐにたいし、出力層のｌ番目のユニット、ユニットｌに対する教師信号 との差 全学習パターンに対する二乗誤差
パターンｐにたいし、出力層のｌ番目のユニット、ユニットｌに対する教師信号　　との差 全学習パターンに対する二乗誤差 最小になるように重みを決める

7 最急降下法 これまで同様Jの最小解を求める

8 の決め方 ユニットｊが出力層にある時 ユニットｊが中間層にある時

9 シグモイド関数（sigmoid function）:S(u)
しきい値関数を近似する微分可能な関数 ・ユニットjへの出力式（誤差伝播法）　　　 　の　をシグモイド関数に選ぶと次式が得られる

10 の決定 （ユニットｊ、出力層） （ユニットｊ、中間層）
　　　　　　　　　　　　　　　（ユニットｊ、出力層） 　　　　　　　　　　　　　　　（ユニットｊ、中間層） 　　　　　　　　であり、ユニットの出力値　　が０．５の時重みの修正量はもっとも大きく、が０または１に近づく程修正量は小さくなる　　　　　　　　　

11 一般化デルタルール (generalized delta rule)
誤差逆伝播法の式を、２層のネットワークに対するWidrow-Hoffの学習規則の式と比較すると、前者はより一般的な多層のネットワークへ拡張された形になっているため、一般化デルタルール（ generalized delta rule )とも呼ばれる