わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法.

Slides:



Advertisements
Similar presentations
『わかりやすいパターン認 識』 第 5 章 特徴の評価とベイズ誤り確率 5.4 ベイズ誤り確率と最近傍決定則 発表日: 5 月 23 日(金) 発表者:時田 陽一.
Advertisements

放射線の計算や測定における統計誤 差 「平均の誤差」とその応用( 1H) 2 項分布、ポアソン分布、ガウス分布 ( 1H ) 最小二乗法( 1H )
Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる.
「わかりやすいパターン認識」 第1章:パターン認識とは
ニューラルネットのモデル選択 村田研究室 4年  1G06Q117-5 園田 翔.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
エッジの検出 画像中に表示された物理の輪郭(エッジ(edge))や線では、一般的に濃淡が急激に変化しており、これらは画像中のなんらかの構造を反映していることが多い このようなエッジや線の検出処理は、画像理解や認識のための前処理として重要である   差分型によるエッジ検出   零交差法によるエッジ検出.
芦田尚美*,髙田雅美*,木目沢司†,城和貴* *奈良女子大学大学院 †国立国会図書館
上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日(土)
放射線の計算や測定における統計誤差 「平均の誤差」とその応用(1H) 2項分布、ポアソン分布、ガウス分布(1H) 最小二乗法(1H)
9. Unsupervised Learning
(ラプラス変換の復習) 教科書には相当する章はない
ブロック線図とシグナルフォローグラフ 1. ブロック線図と信号の流れ キーワード : 直列系、並列系、フィードバック系、 伝達関数
第3章 補足:パラメータが極小値に収束する例
第5章 ニューラル ネットワーク 博士課程1年 原 祐輔.
第4章 線形識別モデル 修士2年 松村草也.
第6章 カーネル法 修士2年 藤井 敬士.
発表日:平成15年4月25日 担当者:時田 陽一 担当箇所:第3章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則
システムモデルと伝達関数 1. インパルス応答と伝達関数 キーワード : 伝達関数、インパルス応答、 ステップ応答、ランプ応答
パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義.
サポートベクターマシン によるパターン認識
合成伝達関数の求め方(1) 「直列結合 = 伝達関数の掛け算」, 「並列結合 = 伝達関数の足し算」であった。
7. 音声の認識:高度な音響モデル 7.1 実際の音響モデル 7.2 識別的学習 7.3 深層学習.
ニューラルコンピューティングを理解する 第一版:2006/12/12 第二版:2007/11/12
第5章:特徴の評価とベイズ誤り確率 5・3:ベイズ誤り確率とは
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
人工知能特論 9.パーセプトロン 北陸先端科学技術大学院大学 鶴岡 慶雅.
P3-12 教師が真の教師のまわりをまわる場合のオンライン学習 三好 誠司(P)(神戸高専) 岡田 真人(東大,理研,さきがけ)
あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では
教師がコミティマシンの場合の アンサンブル学習
第14章 モデルの結合 修士2年 山川佳洋.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
第5章 特徴の評価とベイズ誤り確率 5.5 ベイズ誤り確率の推定法 [1] 誤識別率の偏りと分散 [2] ベイズ誤り確率の上限および下限
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
6. ラプラス変換.
強化学習を用いたバックギャモンプレイヤーの生成 TD-Gammon
1-R-19 発話に不自由のある聴覚障害者の発話音声認識の検討
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
第7章 疎な解を持つカーネルマシン 修士2年 山川佳洋.
Introduction to Soft Computing (第11回目)
ルンゲクッタ法 となる微分方程式の解を数値的に解く方法.
Data Clustering: A Review
ボルツマンマシンの定義 ボルツマンマシン(Boltzmann machine)は、スピン・システムをヒントに作られたモデルである。
15K1117 下窪 聖人 15K1013 坂本 倖輝 15K1112 黒川 晶太 15K1015 関根 修斗
パターン認識とニューラルネットワーク 栗田多喜夫 2019/4/16 早稲田大学大学院理工学研究科講義.
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
部分的最小二乗回帰 Partial Least Squares Regression PLS
ニューラルコンピューティングを理解する 2006/12/12 Graduate School of Media and Governance
Fourier 変換 Mellin変換 演習課題
知識科学研究科 知識システム構築論講座 林研究室 佛明 智
第4章 識別部の設計 4-5 識別部の最適化 発表日:2003年5月16日 発表者:時田 陽一
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
第3章 線形回帰モデル 修士1年 山田 孝太郎.
教師がコミティマシンの場合の アンサンブル学習
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
ポッツスピン型隠れ変数による画像領域分割
第 5 章 :周波数応答 5.1 周波数応答と伝達関数 周波数伝達関数,ゲイン,位相 キーワード : 5.2 ベクトル軌跡 ベクトル軌跡
リッジ回帰(Ridge Regression, RR) Least Absolute Shrinkage and Selection Operator (LASSO) Elastic Net (EN) 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
誤差逆伝播法による ニューラルネットワーク (BackPropagation Neural Network, BPNN)
モデルの微分による非線形モデルの解釈 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
パターン認識特論 カーネル主成分分析 和田俊和.
わかりやすいパターン認識 第6章 特徴空間の変換 6.5 KL展開の適用法 〔1〕 KL展開と線形判別法 〔2〕 KL展開と学習パターン数
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
Fourier 変換 Mellin変換 演習課題
教師がコミティマシンの場合のアンサンブル学習 三好 誠司(神戸高専) 原 一之(都立高専) 岡田 真人(東大,理研,さきがけ)
Presentation transcript:

わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法

ニューラルネットワーク(neural network) 複数のしきい値論理ユニットを含む層を、入力層から出力層まで多数並べたネットワーク しきい値論理ユニット 入力層 中間層 出力層

ニューラルネットワーク(neural network) ユニット間の結合は隣接する層間でのみ存在する 入力層から出力層へ向かう一方向 区分的線形識別関数と等価  パーセプトロンは中間層を持たず入力層と出力層からなる2層のネットワーク

誤差逆伝播法 (back propagation method) ニューラルネットワーク:有効な学習方法が知られていなかった パーセプトロンの学習規則:学習できるのは最終層のみで中間層には無力 これまでの学習法の欠点を解決、多層のネットワークにまで学習の適用範囲を拡張

誤差逆伝播法 (back propagation method)  隣接する3つの層を考え、ある層におけるj番目のユニットについて P番目のパターン  (    )を入力 ユニットjへの入力 ユニットjの出力

二乗誤差 パターンpにたいし、出力層のl番目のユニット、ユニットlに対する教師信号 との差 全学習パターンに対する二乗誤差 パターンpにたいし、出力層のl番目のユニット、ユニットlに対する教師信号  との差 全学習パターンに対する二乗誤差 最小になるように重みを決める

最急降下法 これまで同様Jの最小解を求める

の決め方 ユニットjが出力層にある時 ユニットjが中間層にある時

シグモイド関数(sigmoid function):S(u) しきい値関数を近似する微分可能な関数 ・ユニットjへの出力式(誤差伝播法)     の をシグモイド関数に選ぶと次式が得られる

の決定 (ユニットj、出力層) (ユニットj、中間層)                (ユニットj、出力層)                (ユニットj、中間層)         であり、ユニットの出力値  が0.5の時重みの修正量はもっとも大きく、が0または1に近づく程修正量は小さくなる         

一般化デルタルール (generalized delta rule) 誤差逆伝播法の式を、2層のネットワークに対するWidrow-Hoffの学習規則の式と比較すると、前者はより一般的な多層のネットワークへ拡張された形になっているため、一般化デルタルール( generalized delta rule )とも呼ばれる