パターン認識とニューラルネットワーク 栗田多喜夫 2019/4/16 早稲田大学大学院理工学研究科講義

講義内容 1時限目 2時限目 統計的決定理論 統計的特徴抽出の理論 パターン認識とは ベイズ決定理論 確率密度分布の推定 特徴抽出の枠組み パラメトリックモデルを用いる方法 ノンパラメトリックな方法 セミパラメトリックモデルを用いる方法 2時限目 統計的特徴抽出の理論 特徴抽出の枠組み 線形多変量データ解析手法 非線形判別特徴の抽出 線形手法と非線形手法との関係

講義内容 3時限目 4時限目 学習の理論とニューラルネットワーク その他のニューラルネット 単純パーセプトロン ADALINE ロジスティック回帰 多層パーセプトロン 汎化性 4時限目 その他のニューラルネット 恒等写像学習 RBF(Radial Basis Function)ネットワーク Mixture of Experts SVM(Support Vector Machine)

主成分分析（K－L展開） 主成分分析 線形写像 最適解 情報圧縮（次元の縮小）や類別のための教師なしの特徴抽出の代表的な手法 K-L展開(Karhunen-Loeve expansion)、あるいは、主成分分析(Principal Component Analysis (PCA))と呼ばれる 特徴空間Xの情報（分散）を最も良く保存するようなYを求める 線形写像 最適解 共分分散行列の固有ベクトル 分散最大 主成分空間 特徴空間

主成分分析と最小２乗近似 最小2乗近似 主成分空間 特徴空間

恒等写像学習 教師信号 多層パーセプトロン 評価基準（2乗誤差最小） 学習則

カメラ回転に伴うオプティカルフローの推定 カメラ回転と移動物体 ＋ image background flow independent motion 恒等写像学習によりカメラ回転に伴う オプティカルフローをモデル化

カメラ回転に伴うオプティカルフロー head-mounted camera flow component at position (x,y) angular velocities 2x2 unknown

apply dimensionality reduction フローの生成過程のモデル化 … flow vector linear model rotation param. 2P-dim. vector : generated from 2-dim. parameter and are unknown apply dimensionality reduction

恒等写像学習による順逆モデルの同時推定 output input … forward model intrinsic parameters inverse output input intrinsic parameters

評価実験 optical flow #components: 11x8 #units: 176-2-176 MLP カメラ SightLine Tech. EyeView & SONY EVI-D30 入力画像 30 [frame/sec], 80x60 [pixel] optical flow #components: 11x8 MLP #units: 176-2-176 推定されたカメラの動きに 伴うオプティカルフロー 入力オプティカルフロー

獲得された内部表現

Moving Objects Detection image original flow reconstructed difference

Hebb学習則 Hebb学習則 心理学者D.O.Hebbにより提案された学習アルゴリズム ニューロンが発火したときに、そのニューロンに刺激を入力したニューロンからのシナプス結合を強化 線形ニューロンの出力 結合ベクトルは入力の相関行列の正の固有値に対応する固有ベクトルの方向に向かう しかし、一度ある結合係数が強化されるとその結合係数との線形結合で表される出力の値が大きくなり、結果として同じ結合係数が強化されつづけ、発散してしまう

Ojaの学習アルゴリズム Ojaの学習アルゴリズム Hebb学習則に良く成功を加えたもの 性質 結合係数のノルムは１に収束する 結合係数は入力の相関行列の最大固有値に対応する固有ベクトルに収束する 結合係数は出力ｙの分散を最大化させる

学習型主成分分析アルゴリズム Ojaの学習アルゴリズム Subspace Network Algorithm (Oja 1992) K個の固有ベクトルそのものには収束しないで、K個の固有ベクトルが張る部分空間の基底ベクトルに収束 Generalized Hebbian Algorithm (GHA) (Sanger 1989) 学習が進むと入力の相関行列の最大固有値から順に取られたK個の固有ベクトルに収束

生体の視覚情報処理の流れ 外側膝状体 第1次視覚野（Ｖ１） 網膜 上丘 ・情報の中継 ・信号整形 ・外界の視覚情報の受容 ・形の特徴抽出 ・動きの特徴抽出 ・眼優位性 ・色の情報処理 上丘 ・眼球運動

単純型細胞受容野の特性 受容野の３特性 a b c d e 方位選択性（ｂ、ｃ）、局所性（ｄ）、幅選択性（ｅ） 出力 － ＋ － － ＋ － 受容野：細胞の入力領域 ON反応の受容野 明スリット光 OFF反応の受容野 b c d e 受容野の３特性 方位選択性（ｂ、ｃ）、局所性（ｄ）、幅選択性（ｅ）

主成分分析（ＧＨＡ）を用いて求めた受容野 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 １ ２ ３ ４ ５ ６ ７ ８ 8x8の受容野（64個） 16x16の受容野（256個）

主成分分析とＧＨＡによるエッジ抽出 原画像 （主成分分析） 第2主成分 第3主成分 第4主成分 第5主成分 （ＧＨＡ）

ＧＨＡによる結果 （出力１４４個中） 受容野の３特性を持つものがいくつか存在 種類は少ない 主成分分析型アルゴリズムは不適切 自然画像 網膜での処理を施した自然画像 受容野の３特性を持つものがいくつか存在 種類は少ない 　　　　　　主成分分析型アルゴリズムは不適切

Ｍａｘｉｍｕｍ Ｓｐａｒｓｅｎｅｓｓ Ａｌｇｏｒｉｔｈｍ （Olshausen & Field 1996） 評価関数　　　　　最大化 ニューロンの出力 結合係数ｕの更新式

Ｍａｘｉｍｕｍ Ｓｐａｒｓｅｎｅｓｓ Ａｌｇｏｒｉｔｈｍによる結果 （出力６４個中） 網膜での処理を施した自然画像 入力画像の特性によく反応している 単純型細胞の受容野特性を持ったものが多数存在する 得られた結合係数の種類が多い 　　　　　　　　　スパース型アルゴリズムは生体に近い

RBFネットワーク RBF(Radial Basis Function)ネットワーク 中間層の基底関数の出力を線形結合することによってネットワークの出力を計算するようなネットワーク 基底関数 中間層の基底関数は入力がその中心に近い場合にのみ大きな出力を出す 出力

RBFネットワーク（性質） RBFネットワークの能力 特徴 中間層のユニット数が多ければ、任意の連続関数を近似できる 多層パーセプトロン 中間層の入出力関数がシグモイド関数の場合、中間層の出力が入力空間の無限に大きな領域で大きな値を持つ RBFネットワーク 入力空間の局所的な領域でのみ大きな値を持つ 核関数に基づく確率密度の推定方法と密接に関連する

RBFネットワーク（学習） アプローチ ステップ１： 初期値の推定 ステップ２： パラメータの微調整 中間層での学習と出力層での学習を別々に行い、その結果を初期値としてパラメータを最急降下法等を用いて微調整する ステップ１：　初期値の推定 学習データをクラスタリングする クラスタリング手法としては、K-means法を用いる クラスタリングの結果から、各クラスターにひとつのユニットを割り当て、各クラスターの中心をそのユニットの中心とする。 基底関数の正規化パラメータσはクラスターの広がり具合から推定 最小2情報によって、中間層から出力への結合荷重を推定 ステップ２：　パラメータの微調整 最急降下法により2乗誤差を最小にするようにパラメータを微調整

RBFネットワーク（応用例） 3次元データの向きによらない表現の獲得（1990　Possigo）

Mixture of Experts Mixture of Experts Jordan等が提案した、全学習データの部分集合のみを扱うようにした複数の部分ネットワーク(Experts)を結合したネットワークアーキテクチャ（1991）

Multinomial Logit model Expert （classifier） Multinomial Logit model 尤度・対数尤度 学習アルゴリズム

Multinomial Logit model Gating network Gating Network 入力に対して適切な識別器を選択 Softmax関数で実現 Multinomial Logit model

Mixture of Classifiers の学習 尤度・対数尤度 学習アルゴリズム 入力ｘに対するn番目の識別器の事後確率

サポートベクターマシン（SVM） サポートベクターマシン（Support Vector Machine, SVM) パターン認識の能力に関して、現在知られている中で最も優れた学習モデルのひとつ 基本的な構造は、ニューロンモデルとして最も単純な線形しきい素子（McCulloch & Pittsモデル） Vapnik等が、単純パーセプトロンのよい性質を保ちつつ、数理計画法や関数解析に関わるいくつかの工夫を加えてSVMを実現 正則化やBayes推定、スパース表現とも関連 2クラスの識別問題に対して有効 「マージン最大化」という基準で「線形しきい値素子」を用いたモデルを学習 「カーネルトリック」という工夫で性能をあげる

問題設定 識別関数 学習 外界からd次元の入力パターンｘが与えられたとき、これを2つのクラスのどちらかに識別。 クラスのラベルを１と-1に数値化 識別関数：入力パターンからクラスラベルへの関数 学習 N個のサンプルパターンとそれぞれに対する正解のクラスラベルを訓練サンプルとして、それらが正しく識別されるような識別関数を求める 訓練サンプルに含まれない入力パターンに対しても出力の誤りをできるだけ小さくしたい

線形しきい素子 線形しきい素子 他のニューロンからの入力ｘがシナプス果汁ｗに比例して内部ポテンシャルに加算され、しきい値ｈを超えたところで出力１を出力する 幾何学的には、入力空間をしきい値ｈで決まる超平面で二つにわけ、一方に１を、もう一方に－１を割り当てる 線形分離可能 すべてのサンプルに対して正しい出力を出すようにパラメータを調節可能

マージン最大化 よりよい超平面 学習用のサンプル集合を線形分離可能でも、それを実現する超平面は一意でない 訓練サンプルすれすれを通る超平面よりも、多少余裕をもった超平面の方が良い　＝＞　余裕をどうやってはかる？ マージン 超平面と訓練サンプルとの距離の最小値

評価関数の導出 マージンの大きさ 制約条件付最適化問題 線形分離可能 目的関数： 制約条件： H1 すべてのサンプルが制約条件 を満たすようにできる つまり、２枚の超平面H1とH2をはさんでラベル１のサンプルとラベル－１のサンプルが分離されており、２枚の超平面の間には１つもサンプルがない 超平面H1と超平面H2上に少なくとも1つ以上の訓練サンプルが存在すると仮定 制約条件付最適化問題 目的関数： 制約条件： H1 H2

制約条件付き最適化問題の解法 Lagrange乗数を用いて変形 双対問題 停留点での条件 目的関数： 制約条件： これをもとの式に代入　＝＞　双対問題 双対問題 目的関数： 制約条件： この解で、αが正となるデータ点を「サポートベクター」と呼ぶ。これは、超平面H1あるいはH2の上にのる

識別関数 識別関数 ここで、Snはサポートベクターに対応するデータの添え字の集合 ＝＞　サポートベクターのみで識別関数が構成される

ソフトマージン ソフトマージン 制約条件の変更 線形分離可能でない場合に対応するため、多少の識別誤りは許すように制約を緩める方法 目的関数： 制約条件： Cは制約を破ったサンプルに対するペナルティ

高次元化 高次元化 線形分離可能でない場合に対応するため、ｘを非線形変換により高次元の空間に写像して、その空間で線形の識別をする 線形分離可能性は、訓練サンプル数が大きくなるほど難しく、次元が大きいほどやさしくなる。 次元がサンプル数＋１以上であり、パターンが一般の位置にあれば、どんなラベル付けに対しても線形分離可能 高次元化の課題 次元の呪い：次元の増加とともに汎化能力が落ちてしまう 計算量：難しい問題を線形分離可能にするためには、訓練サンプル数と同程度の次元に射影する必要がある

カーネルトリック 非線形写像 内積 識別関数 カーネルの例 もとの入力パターンｘをHilbert空間（完備内積空間）の元に写像 のように、ｚを経由しないで、ｘ１とｘ２だけから簡単に計算できるなら、SVMの最適化問題や識別関数における内積をKで置き換え、線形分離可能な識別関数を得ることができる 識別関数 カーネルの例

SVMの例

レポート 課題 自分の身の回りで、パターン認識手法が使えそうな課題を探し、その課題を解決するために必要な特徴を認識対象から自動的に計測するための方法についてまとめください。 提出方法 A4の用紙に1ページ～数ページでまとめてください。 フォーマットは自由 最初のページに名前と学籍番号を記入してください 提出先は、事務局（レポート回収箱？） 提出期限：2000年12月1日

パターン認識過程 特徴抽出 識別 認識対象から何らかの特徴量を計測（抽出）する必要がある 認識に有効な情報（特徴）を抽出し、次元を縮小した効率の良い空間を構成する過程 文字認識：　スキャナ等で取り込んだ画像から文字の識別に必要な本質的な特徴のみを抽出（例、文字線の傾き、曲率、面積など） 識別 与えられた未知の対象を、特徴とクラスの関係に関する知識に基づいて、どのクラスに属するかを決定（判定）する過程 特徴抽出 識別 概念空間 特徴空間 パターン空間

４時限目終了 次週の予告 パターン認識の応用