上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日（土） パターン認識と学習のアルゴリズム 上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日（土）
1 ベイズの識別規則
病気の診断 100人のうち30人が病気、70人が健康 このデータをもとに、ランダムに患者が来たときに誤診の少ないように診断したい
パターン パターンXとしてr個の属性X1,…,Xrの組を考える 各属性Xkは任意の実数値をとり得る確率変数とする 病気の診断の例の場合 X1: 熱があるかないか(熱がないX1=0, 熱があるX1=1) X2: せきが出るか出ないか(せきが出ないX2=0, せきが出るX2=1) r = 2
クラスと確率 パターンクラスとして の２つを考え、これらの発生確率を とする クラス の中からパターン が発生する条件付き確率密度を とする パターンクラスとして の２つを考え、これらの発生確率を とする クラス の中からパターン が発生する条件付き確率密度を とする 病気診断の例 c1=健康 c2=病気 P1 = (50+10+5+5)/100 = 0.7 P2 = (2+3+20+5)/100 = 0.3
ベイズの識別規則 としたとき がベイズの識別規則(=認識の誤り確率が最小となる識別規則)となる としたとき がベイズの識別規則(=認識の誤り確率が最小となる識別規則)となる あるいは を使って とも書ける。このgが識別関数 病気の診断の例 となるので、 熱がなければ(x1=0)健康 熱があってせきが出なければ(x1=1,x2=0)病気 熱がありせきが出る場合(x1=1,x2=1)は病気と判断しても健康と判断しても平均的な誤り確率は変わらない
連続分布の場合 条件付き確率密度関数をそれぞれ平均ベクトル で共分散行列 の正規分布の密度関数とする 最終的にgは以下のようになる
連続分布のパターン認識
2 古典パーセプトロンの学習
パーセプトロン 重み w1,…,wn 出力 y パターン x1,…,xn 感覚層 （入力素子） 連合層 （隠れ素子） 反応層 （出力）
認識機械としてのパーセプトロン 入力x=(x1,…,xn)tが与えられたとき、重みwiを使って出力yを計算する このとき、出力が負ならxはクラスX0に属し、正ならxはクラスX1に属するようにする 入力群と出力群が与えられたとき、重みを自動的に決定したい
弛緩法による構成 重み パターン X0とX1に属するすべてのパターンを適当に無限に並べる 重みw(1)に適当な初期値（例えば(0,…,0)）を入れ、以下を収束するまで計算
学習の簡単な例 x(2)=(1,0,1)t =x(6)=x(10)=… x(4)=(1,1,1)t =x(8)=x(12)=… クラスX1
となり、パターンクラスを分割する識別面はx1=1/2になる 学習の簡単な例（つづき） パーセプトロンは となり、パターンクラスを分割する識別面はx1=1/2になる
適用例 X0に属する10個のパターン X1に属する10個のパターン パターンの成分の数n=9
適用例（つづき）
適用例（つづき）
3 現代パーセプトロンの学習
シグモイド関数
ニューロンのアナログモデル 第2層の重みwij 第3層の重みvj 出力素子の出力 隠れ素子の出力 パーセプトロンの認識関数
誤差 誤差 学習パターン集合Xに属する学習パターンxとその認識結果d(x)を人間が与えて学習させ、Eを最小化するパーセプトロンhを求めたい（dは目標関数と呼ばれる） αは各パターンxにおけるhとdの近さに関する重要さの程度を表す重み、既知 |X|はパターンの個数、||z||はユークリッドノルム
誤差逆伝搬学習法 第３層の重みの更新式 第２層の重みの更新式 Δは十分小さな値 第３層の誤差 第２層の誤差 δ1j(x)を求めるのにδ2k(x)を使う→誤差が出力側から入力側に流れる→誤差逆伝搬学習法
１入力１出力のパーセプトロンの学習 N=5個の学習パターン 290回の重みの更新
4 KL展開
Karhunen-Loeve展開 ` N個の属性を持つパターンX 実数値Wn(n=1,…,N) パターンXを以下で表現できる→KL展開 固有ベクトルを正規化したもの
近似 これをK項（K≦N）までで打ち切り 固有値λkを大きい順に並べて λkに対応する固有ベクトルをμkとしたとき、上の打ち切ったXは最も良い近似を与える
固有値問題 固有値問題 を解く N次元パターンJ個が入力 ΣはパターンXの共分散行列(N次正方行列)
適用例 N=10の学習パターン □標準基底 ○固有ベクトル
Daisuke Miyazaki 2003 Creative Commons Attribution 4 Daisuke Miyazaki 2003 Creative Commons Attribution 4.0 International License. http://www.cvl.iis.u-tokyo.ac.jp/