パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義

講義内容 1時限目 2時限目 統計的決定理論 統計的特徴抽出の理論 パターン認識とは ベイズ決定理論 確率密度分布の推定 特徴抽出の枠組み パラメトリックモデルを用いる方法 ノンパラメトリックな方法 セミパラメトリックモデルを用いる方法 2時限目 統計的特徴抽出の理論 特徴抽出の枠組み 線形多変量データ解析手法 非線形判別特徴の抽出 線形手法と非線形手法との関係 2018/11/8 早稲田大学大学院理工学研究科講義

講義内容 3時限目 4時限目 学習の理論とニューラルネットワーク その他のニューラルネット 単純パーセプトロン ADALINE ロジスティック回帰 多層パーセプトロン 汎化性 4時限目 その他のニューラルネット 恒等写像学習 RBF(Radial Basis Function)ネットワーク Mixture of Experts SVM(Support Vector Machine) 2018/11/8 早稲田大学大学院理工学研究科講義

学習の理論とニューラルネット パターン認識 ニューラルネット 有限個の例からパターンとクラスの確率的構造を推定 確率密度関数がわかれば、最適なベイズ識別が可能 ニューラルネット パターン認識の分野でもニューラルネットが盛んに利用されるようになってきた。 多層パーセプトロンの学習法として誤差逆伝播法が考案され、良い識別性能を持つ識別器を学習データから比較的簡単に構成できることがわかった セミパラメトリックモデルによる学習と解釈できる ニューラルネットの分類 階層的ニューラルネットワーク 多層パーセプトロン、RBF（Radial Basis Function)ネットワーク等 相互結合ネットワーク Hopfieldネットワーク、Boltzmann Machine等 2018/11/8 早稲田大学大学院理工学研究科講義

歴史１ 単純パーセプトロン 1943年 McCulloch & Pitts 1949年 Hebb 1957年 Rosenblatt ニューロンモデルとして、2値（＋１，－１）入力の組を2値出力に変換するしきい値論理素子を提案 ニューラルネットは論理計算として万能であることを示す 1949年　Hebb シナプス結合強度の変化規則の提案　＝＞　Hebb学習則 1957年　Rosenblatt パーセプトロン（視覚パターン識別学習機械のモデル）の提案 入力パターンに対するパーセプトロンの出力と教師の答えに応じて、結合重みを逐次修正する学習則 1969年　Minsky & Papert パーセプトロン（特に1層）の能力の限界を明らかにした ブームの終了 原因 デジタルな論理関数ネットワークの学習という識別関数のエラーフリーが学習を考えていた 決定論的な観点からのアプローチ 単純パーセプトロンOHPあり 2018/11/8 早稲田大学大学院理工学研究科講義

歴史２ 最小2乗線形判別関数の学習 1960年 Widrow & Foff 1966年 Koford & Groner ADALINE (Adaptive Linear Neuron)モデルの提案 モデル 評価基準：2乗誤差最小化 学習：最急降下法に基づく学習 理想的な識別関数を線形関数（判別関数）によって2乗誤差最小化の意味で解析的に近似　＜＝　多変量解析の考え方と同じ 1966年　Koford & Groner ADALINEとフィシャーの線形判別関数との関係を指摘 1966年 Patterson & Wowmack ADALINEは誤識別率最小の意味で理論的に最適なベイズ識別関数を最小2乗近似していることを指摘 ポイント 連続実数化、線形化　＝＞　統計解析的な研究対象へ 逐次線形重回帰OHPあり 2018/11/8 早稲田大学大学院理工学研究科講義

歴史３ 人工知能ブーム 第2次ニューロブーム 他方 1970年代 1980年代前半から 1986年 Rumelhart等 多層パーセプトロンの学習法（誤差逆伝播学習法）の提案 2乗誤差最小化を評価関数とする最急降下 他方 統計では、GLIM（Generalized Linear Model)の研究 ロジスティック回帰 ロジスティック回帰OHPあり 2018/11/8 早稲田大学大学院理工学研究科講義

多層パーセプトロン 多層パーセプトロンの構造・多層パーセプトロンでの計算 多層パーセプトロンの能力 誤差逆伝播学習法 最尤推定としての定式化 フィッシャー情報行列とその学習への利用 多層パーセプトロンOHPあり 2018/11/8 早稲田大学大学院理工学研究科講義

階層型ニューラルネットと非線形回帰 階層型ニューラルネット 最適非線形写像 たくさんの単純なユニットを結合したネットワークにより非線形回帰を行っている 最適非線形写像 学習すべき究極の目標を与えている 非線形回帰OHPあり 2018/11/8 早稲田大学大学院理工学研究科講義

汎化性 学習の目的 学習データに対して良い結果を与えることでは無く、未学習のデータに対して性能が良いこと 汎化性 特に、パターン認識に用いる場合には、学習データでいくらうまく識別出来ても、未知のデータに対してうまく識別出来なければ意味が無い 汎化性 未知データに対する性能 汎化性OHPあり 2018/11/8 早稲田大学大学院理工学研究科講義

ノイズの付加による汎化能力の向上 ノイズの付加 中間層の各ニューロンの入力のノイズを付加 観測データを補間するような学習データを生成（1992赤穂） 中間層のニューロンにノイズを付加（1993栗田） 結合荷重にノイズを付加（1993Murray) 中間層の各ニューロンの入力のノイズを付加 誤差逆伝播学習がどのような影響を受けるか？ 中間層へのノイズの付加OHPあり 2018/11/8 早稲田大学大学院理工学研究科講義

3時限目終了 4時限目 その他のニューラルネット 恒等写像学習 RBF(Radial Basis Function)ネットワーク Mixture of Experts SVM(Support Vector Machine) 2018/11/8 早稲田大学大学院理工学研究科講義