機械学習の種類と基本的な流れ(NN法を例に)

Similar presentations


Presentation on theme: "機械学習の種類と基本的な流れ(NN法を例に)"— Presentation transcript:

1 機械学習の種類と基本的な流れ(NN法を例に)
知能情報工学 第2回 機械学習の種類と基本的な流れ(NN法を例に) 2016年4月19日 吉川雅博

2 データの集合からコンピュータを用いて法則性を見つける
機械学習とは? データの集合からコンピュータを用いて法則性を見つける ・与えられたデータをカテゴリに分類したい ・過去のデータから未来を予測したい ・与えられたデータを似たもの同士にまとめたい ・与えられたデータの異常な部分を発見したい 人手で行うと大変な作業 人には発見できない法則

3 機械学習の具体例 音声認識 ・iOSのSiri ・Androidの音声操作 ・国会の議事録 ・電話サポート その他 ・天気の予測
 ・電話サポート その他  ・天気の予測  ・地震の予測  ・売り上げの予測  ・システムの異常検知  ・DNAの分析  ・カードの不正利用検知  ・株の自動取引き  ・自動運転  ・対戦ゲーム 画像認識  ・郵便番号の認識  ・デジカメの顔認識  ・製品の検査  ・MRI画像から病気診断 インターネット  ・検索  ・迷惑メールの分類  ・ストアの広告表示や商品推薦

4 機械学習の分類 機械学習 教師あり学習 教師なし学習 識別 回帰 クラスタリング ・k最近傍法 ・パーセプトロン ・ニューラルネット
・SVM ・決定木 ・ベイズ識別 ・隠れマルコフモデル(時系列) ・線形回帰 ・k-means 深層学習は複合・中間的

5 機械学習の用語 学習(訓練)データ・・予め取得して学習に用いるデータ クラス・・分類するカテゴリ 教師・・学習データに対応するクラスの情報
テストデータ・・学習結果をテストするためのデータ

6 識別(識別境界) 学習データからクラス間の境界を求めておく →境界に基づいて未知のデータを分類 クラス1(毒キノコ) クラス2(食用キノコ)
かさの体積 未知のデータ (未知のキノコ) キノコの柄の長さ

7 識別(プロトタイプ) 学習データから各クラスを代表するプロトタイプを求めておく →未知のデータとプロトタイプとの距離で分類
クラス1のプロトタイプ クラス2のプロトタイプ 距離を比較 クラス3のプロトタイプ かさの面積 未知のデータ キノコの柄の長さ ※本質的には識別境界を求めるのと同じ

8 回帰 学習データによく当てはまる関数を求めておく →関数を用いて一方の変数から他方の変数を予測 学習データ 売り上げ 気温

9 クラスタリング 教師のない学習データを自動的に分類 クラスタ1 クラスタ2 クラスタ3 まとまりがありそうなデータ クラスは不明

10 プロトタイプによるNN法の流れ 音声や画像 (アナログ信号) 識別 結果 AD変換 前処理部 特徴抽出部 識別部 識別辞書 (プロトタイプ)
・標本化 ・量子化 ・ノイズ除去 ・正規化 識別が容易な 特徴を抽出 プロトタイプと比較 識別辞書 (プロトタイプ) 学習

11 特徴抽出 特徴抽出は識別に役立つ情報を取り出す処理 音声認識:個人の声の性質や声の大きさ 文字認識:文字の大きさや色 識別には無意味
識別に必要な特徴のみを取り出す

12 特徴ベクトル 𝑥 𝑑 特徴抽出後は特徴を並べた𝑑次元のベクトルで表現 𝒙= ( 𝑥 1 , 𝑥 2 , …, 𝑥 𝑑 ) 𝑡 𝑥 𝑗 𝑥 1
𝒙= ( 𝑥 1 , 𝑥 2 , …, 𝑥 𝑑 ) 𝑡 𝑥 𝑗 𝑥 1 𝑥 2 𝑥 3 𝑑次元空間を特徴空間,𝒙を特徴ベクトルと呼ぶ

13 学習(プロトタイプの決定) 𝑐種類のクラスをそれぞれ 𝜔 1 , 𝜔 2 ,…, 𝜔 𝑐 とし,
𝑐種類のクラスをそれぞれ 𝜔 1 , 𝜔 2 ,…, 𝜔 𝑐 とし, 各クラスのプロトタイプを 𝒑 1 , 𝒑 2 ,…, 𝒑 𝑐 とする 𝑥 𝑑 𝒑 1 𝒑 𝑖 𝒑 2 𝒑 𝑐 𝑥 𝑗 𝑥 1 𝑥 2 𝑥 3 プロトタイプは学習データから決定する

14 プロトタイプによるNN法 𝑥 𝑑 各プロトタイプとの距離を計算し最も近いプロトタイプ 𝒑 𝑖 に決定する
→最近傍決定則,最近傍法(Nearest Neighbor法:NN法) 𝑥 𝑑 𝒙 𝒑 1 𝒑 2 𝒑 𝑖 𝒑 𝑐 𝑥 𝑗 𝑥 1 𝑥 2 𝑥 3

15 演習1 以下のパターンを白:0黒:1の特徴からなる25次元のプロトタイプとして表し, 1 2 3 4
1 2 3 4 以下の未知パターンをNN法によって分類せよ 未知のパターン ※荒木雅弘「フリーソフトでつくる音声認識システム」より

16 演習1-解答 各パターンを特徴ベクトルで表す 1 2 3 4 未知のパターン 𝒑 0 =(0,1,1,1,0,1,0,0,0,1,1,0,0,0,1,1,0,0,0,1,0,1,1,1,0) 𝒑 1 =(0,0,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,1,0,0) 𝒑 2 =(0,1,1,1,1,1,0,0,1,0,0,0,1,0,0,0,1,0,0,0,1,1,1,1,1) 𝒑 3 =(0,1,1,1,0,1,0,0,0,1,0,0,1,1,0,1,0,0,0,1,0,1,1,1,0) 𝒑 4 =(0,0,1,0,0,0,1,0,0,0,1,0,0,1,0,1,1,1,1,1,0,0,0,1,0) 𝒙=(0,0,0,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,1,0,0,0,0,1,0)

17 演習1-解答 𝐷 𝒙, 𝒑 𝑖 = 𝑥 1 − 𝑝 𝑖1 2 + 𝑥 2 − 𝑝 𝑖2 2 +⋯+ 𝑥 25 − 𝑝 𝑖25 2
プロトタイプと未知パターンとの距離を計算する 𝐷 𝒙, 𝒑 𝑖 = 𝑥 1 − 𝑝 𝑖 𝑥 2 − 𝑝 𝑖 ⋯+ 𝑥 25 − 𝑝 𝑖25 2 クラス 1 2 3 4 距離 13 10 12 11 9 ※ルートはなくても同じ 距離が最小となるのはプロトタイプ「4」 なぜ「1」のプロトタイプではないのか?

18 演習2 以下のパターンを縦・横・斜の線(3マス以上連続),ループの数(黒のマスが途切れずにループになっている)からなる4次元のプロトタイプとして表し, 1 2 3 4 以下の未知パターンをNN法によって分類せよ. 未知のパターン

19 演習2-解答 𝒑 0 =(2,2,0,1) 𝒑 1 =(1,0,0,0) 𝒑 2 =(0,2,1,0) 𝒑 3 =(0,2,0,0)
1 2 3 4 未知のパターン 𝒑 0 =(2,2,0,1) 𝒑 1 =(1,0,0,0) 𝒑 2 =(0,2,1,0) 𝒑 3 =(0,2,0,0) 𝒑 4 =(1,1,1,0) 𝒙=(1,0,0,0) プロトタイプ「1」との距離が最短となり,「1」に分類される


Download ppt "機械学習の種類と基本的な流れ(NN法を例に)"

Similar presentations


Ads by Google