わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法
ニューラルネットワーク(neural network) 複数のしきい値論理ユニットを含む層を、入力層から出力層まで多数並べたネットワーク しきい値論理ユニット 入力層 中間層 出力層
ニューラルネットワーク(neural network) ユニット間の結合は隣接する層間でのみ存在する 入力層から出力層へ向かう一方向 区分的線形識別関数と等価 パーセプトロンは中間層を持たず入力層と出力層からなる2層のネットワーク
誤差逆伝播法 (back propagation method) ニューラルネットワーク:有効な学習方法が知られていなかった パーセプトロンの学習規則:学習できるのは最終層のみで中間層には無力 これまでの学習法の欠点を解決、多層のネットワークにまで学習の適用範囲を拡張
誤差逆伝播法 (back propagation method) 隣接する3つの層を考え、ある層におけるj番目のユニットについて P番目のパターン ( )を入力 ユニットjへの入力 ユニットjの出力
二乗誤差 パターンpにたいし、出力層のl番目のユニット、ユニットlに対する教師信号 との差 全学習パターンに対する二乗誤差 パターンpにたいし、出力層のl番目のユニット、ユニットlに対する教師信号 との差 全学習パターンに対する二乗誤差 最小になるように重みを決める
最急降下法 これまで同様Jの最小解を求める
の決め方 ユニットjが出力層にある時 ユニットjが中間層にある時
シグモイド関数(sigmoid function):S(u) しきい値関数を近似する微分可能な関数 ・ユニットjへの出力式(誤差伝播法) の をシグモイド関数に選ぶと次式が得られる
の決定 (ユニットj、出力層) (ユニットj、中間層) (ユニットj、出力層) (ユニットj、中間層) であり、ユニットの出力値 が0.5の時重みの修正量はもっとも大きく、が0または1に近づく程修正量は小さくなる
一般化デルタルール (generalized delta rule) 誤差逆伝播法の式を、2層のネットワークに対するWidrow-Hoffの学習規則の式と比較すると、前者はより一般的な多層のネットワークへ拡張された形になっているため、一般化デルタルール( generalized delta rule )とも呼ばれる