「データ学習アルゴリズム」 第３章 複雑な学習モデル 3.1 関数近似モデル ….. ….. 3.1.3 ３層パーセプトロン 第３章 複雑な学習モデル 3.1 関数近似モデル ….. 3.1.3 ３層パーセプトロン ….. 6月25日（水） 発表者 新納浩幸

３層パーセプトロンとは 関数近似モデルの代表例 任意の関数を近似できる から中間層の各ユニットの 入出力をつくり、そこから をつくる。結局、関数を作っている。 任意の関数を近似できる

ユニットの入出力 第 j 番目の中間ユニットの入出力 第 i 番目の出力ユニットの入出力 σはシグモイド関数 バイアス 求めるべきパラメータ H は中間層のユニット数 σはシグモイド関数 バイアス 求めるべきパラメータ

バイアスの削除 求めるべきパラメータ 常に１を出力する中間ユニットを 考えると、そこから出力ユニット i へ の重みが、 となる の重みが、 となる 常に１を出力する入力ユニットを 考えると、そこから中間ユニット j へ の重みが、 となる 求めるべきパラメータ

誤差逆伝播法（１） パーセプトロンのパラメータを求めるアルゴリズム 最急降下法を利用 (参照 pp.41) この部分を求めることができるかどうかかポイント

誤差逆伝播法（２） シグモイド関数には以下の性質がある！ 出力 i の差分： 中間ユニット j ： を定義すると が求まる 合成関数の部分を繰り返せば 簡単に導ける を定義すると が求まる

誤差逆伝播法（３） 中間ユニット j から出力ユニット i への 重みの誤差が、 中間ユニット j の出力に 入力ユニット k から中間ユニット j への 重みの誤差が、 入力ユニット k の出力に 中間ユニット k の誤差をかけた形 出力層の誤差が中間層、入力層に伝播してゆく

注20 （学習誤差と予測誤差） パーセプトロンの実際の学習 過学習 適当に学習を 止めないとだめ

例39 （誤差の変化と学習の変化） 英語の文章をモールス信号に変換する仕事を学習 １文字単位の変換の学習から 単語単位の変換の学習へ 誤差が変化しない状態から ある時期に変化が生じる 学習の質の変化

例40（雑音の効用） 画像や音声の識別は特徴量が高次元 普遍性のある学習は困難 入力に雑音を加えて学習データを増やすことで 振る舞いがかなり改善されることがある

例41 (学習対象の特性の学習) 学習対象の特性までを含めて学習させることは不可能ではないが、効率的ではない。 特性がわかっている対象については、データをそれに応じて変換しておくか、モデルをその変化に依存しないように作成していた方がよい。

モデル選択の問題 階層型の学習モデルでは、正則モデルの情報量規準を、原理的に、適用できない。 無理に情報量規準を用いると、何もしないよりも予測誤差は小さくなるが、導入せずに適度な反復回数で停止する場合に比べて予測誤差が小さくなるとは限らない。 モデル選択を行っても、学習回数を増やすと予測誤差は悪化する。 モデル選択を行うと小さなモデルが構成でき、データからの法則発見には役立つこともある。

荷重減衰と事前確率密度関数 荷重減衰法（忘却つき学習法） 事前確率密度関数を設定することに相当する？ 損失関数として以下を利用する方法 小さなパラメータ、突出して大きなものが少なくなる 突出して大きなものと0 になるものとに分かれる 情報量規準によるモデル選択と同じ効果が得られる

荷重減衰についてのメモ 適度な反復で学習を停止する場合と比較して、必ずしも予測誤差は減少しない。 荷重減衰を行う場合でも、学習を適当に停止した方がよい。 小さなモデルが得られることもあり、法則発見には役立つこともある。 学習を繰り返し行ってもパラメータの崩壊は起こりにくい。 λの定め方は4章。

アンサンブル学習とベイズ推定 アンサンブル学習 ただし ベイズ法を一般化したもの ３層パーセプトロンにアンサンブル学習を用いると 複数得られたパラメータの重み付き平均により関数を作る方法 ただし ベイズ法を一般化したもの ３層パーセプトロンにアンサンブル学習を用いると 予測誤差を小さくできる。原因は不明。 また、当然、データ中の法則発見はさらに困難になる。

応用 工夫が必要な点 特徴量を何にするか 入力データ固有の変形を吸収できるようなモデルの設計 応用例 例42：文字認識 例43：音声認識 複雑なモデルを使うと、学習対象の性質をそれほど検討しなくても まずまずの認識精度が得られる。これは学習したい対象に対する 知識を持っていてもモデルの設計に盛り込むことが困難であること も意味する。 工夫が必要な点 特徴量を何にするか 入力データ固有の変形を吸収できるようなモデルの設計 応用例 例42：文字認識 例43：音声認識 例44：パーセプトロンについては非常に多くの応用例がある

注21（隠れマルコフモデル） 時系列を学習するモデル N個の状態 状態 i から状態 ｊ へ移る確率 する確率が 観測値 を学習 EMアルゴリズムが有効 音声認識、形態素解析などに効果的なモデル

砂時計型モデル ＊5層（以上）になっている。 ＊中間層のユニット数が少ない。 ＊中間層のユニットはデータが 本質的に持っている自由度に対応。 主成分分析に相当 非線形主成分分析と呼ばれる