「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル 報告者 佐々木 稔 2003年6月25日 第3章 複雑な学習モデル 3.1 関数近似モデル 3.1.1 関数近似モデルの定義 3.1.2 関数近似モデルの学習 3.1.3 ３層パーセプトロン 3.1.4 球形基底関数、RBF
複雑な学習モデル 神経回路網モデルとその学習アルゴリズム 学習の性質は完全に解明されてはいない 実データの学習、認識、予測において有効性を実証 神経回路網モデルに使われる関数近似 モデルの定義と学習について説明
（Function Approximation Model） 関数近似モデル 入力 から、n 次元空間に出力する関数 f (x, w) （w∈Rd はパラメータ） 出力空間上の確率変数 Y 雑音 Z （平均 0 の RM 上の確率変数） Y = f (x, w) + Z 関数近似モデル （Function Approximation Model）
Z が確率関数 q( ･ ) を持つとき 関数近似モデルの条件付き確率 p(y | x, w) は 特に、 q( ･ ) が平均 0、共分散行列 σ2I の正規分布ならば このモデルは、関数 f (x, w) で定まるので、 関数のモデルと同じものとみなされる
例 T 個の観測データからなる1次元データ {(x(t), y(t)) | t = 1, ･･･, T} 線形モデル y = ax で近似（傾き a を決定する） 二乗誤差 E を最小にする
線形モデル y = ax は原点を通る直線 近似できる関数は限られたものになる K 個の関数の集合 {ki(x) | i = 1, ･･･, K} を 用い、その線形結合で関数を近似する kj(x) はカーネル関数と呼ばれる （一般に非線形関数が使われる）
例３７ R1 上の関数を学習する時の代表的なモデル 多項式モデル フーリエ級数モデル 損失関数がパラメータの2次式となり、 最尤推定量を線形演算で求められる
例３８ ： 関数基底系 R1 から R1 への関数近似モデル R2 から R1 への関数近似モデル 高次元のモデルに拡張が可能 ahk のパラメータ数が指数乗で増加する
関数近似モデルの学習 最急降下法 p(y | x, w, σ) の学習誤差 Ln(w, σ) Ln(w, σ) を最小にするパラメータ (w, σ) を計算 最急降下法 （前回の2.2節参照）
一括学習の最急降下法（37ページ参照） のとき、 w の最適値 が得られれば、 σ の最適値 も得られる
w についての微分方程式 を用いて最適値 を求め、 を算出 各サンプルから逐次学習を行う場合（41ページ参照） サンプルの組 （xi, yi） ランダムに選ぶ 以下の逐次学習アルゴリズムを繰り返す