9. Unsupervised Learning

Slides:



Advertisements
Similar presentations
果物識別 補足資料 1. やりたい事  入力された画像内に映っている果物が何かを自動判 別するプログラムを組むこと 識別器 りんご です.
Advertisements

Absolute Orientation. Absolute Orientation の問題 二つの座標系の間における剛体 (rigid body) 変換を復元す る問題である。 例えば: 2 台のステレオカメラから得られた3次元情報の間の関 係を推定する問題。 2 台のステレオカメラから得られた3次元情報の間の関.
『わかりやすいパターン認 識』 第 5 章 特徴の評価とベイズ誤り確率 5.4 ベイズ誤り確率と最近傍決定則 発表日: 5 月 23 日(金) 発表者:時田 陽一.
地図の重ね合わせに伴う 位相関係の矛盾訂正手法 萬上 裕 † 阿部光敏* 高倉弘喜 † 上林彌彦 ‡ 京都大学工学研究科 † 京都大学工学部 * 京都大学情報学研究科 ‡
Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる.
白井ゼミ 豊田秀樹(2008)『データマイニング入門』 (東京図書)。4章
コンピュータビジョン特論 第8回対象追跡 2006年11月22日 加藤丈和.
Building text features for object image classification
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
「わかりやすいパターン認識」 第1章:パターン認識とは
Pattern Recognition and Machine Learning 1.5 決定理論
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
エッジの検出 画像中に表示された物理の輪郭(エッジ(edge))や線では、一般的に濃淡が急激に変化しており、これらは画像中のなんらかの構造を反映していることが多い このようなエッジや線の検出処理は、画像理解や認識のための前処理として重要である   差分型によるエッジ検出   零交差法によるエッジ検出.
上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日(土)
Bias2 - Variance - Noise 分解
第3章 重回帰分析 ー 計量経済学 ー.
第3章 重回帰分析 ー 計量経済学 ー.
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
確率・統計輪講資料 6-5 適合度と独立性の検定 6-6 最小2乗法と相関係数の推定・検定 M1 西澤.
主成分分析                     結城  隆   .
ベイズ基準によるHSMM音声合成の評価 ◎橋本佳,南角吉彦,徳田恵一 (名工大).
第6章 カーネル法 修士2年 藤井 敬士.
果物識別 マハラノビス距離を求める.
発表日:平成15年4月25日 担当者:時田 陽一 担当箇所:第3章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則
パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義.
サポートベクターマシン によるパターン認識
7. 音声の認識:高度な音響モデル 7.1 実際の音響モデル 7.2 識別的学習 7.3 深層学習.
決定木とランダムフォレスト 和田 俊和.
第5章:特徴の評価とベイズ誤り確率 5・3:ベイズ誤り確率とは
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
人工知能特論 9.パーセプトロン 北陸先端科学技術大学院大学 鶴岡 慶雅.
あらまし アンサンブル学習の大きな特徴として,多数決などで生徒を組み合わせることにより,単一の生徒では表現できない入出力関係を実現できることがあげられる.その意味で,教師が生徒のモデル空間内にない場合のアンサンブル学習の解析は非常に興味深い.そこで本研究では,教師がコミティマシンであり生徒が単純パーセプトロンである場合のアンサンブル学習を統計力学的なオンライン学習の枠組みで議論する.メトロポリス法により汎化誤差を計算した結果,ヘブ学習ではすべての生徒は教師中間層の中央に漸近すること,パーセプトロン学習では
第14章 モデルの結合 修士2年 山川佳洋.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
独立成分分析 5 アルゴリズムの安定性と効率 2007/10/24   名雪 勲.
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
第5章 特徴の評価とベイズ誤り確率 5.5 ベイズ誤り確率の推定法 [1] 誤識別率の偏りと分散 [2] ベイズ誤り確率の上限および下限
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
第7章 疎な解を持つカーネルマシン 修士2年 山川佳洋.
独立成分分析 (ICA:Independent Component Analysis )
Introduction to Soft Computing (第11回目)
主成分分析 Principal Component Analysis PCA
多変量解析 ~主成分分析~ 1.主成分解析とは 2.適用例と解析の目的 3.解析の流れ 4.変数が2個の場合の主成分分析
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
Data Clustering: A Review
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
様々な情報源(4章).
1-Q-9 SVMとCARTの組み合わせによる AdaBoostを用いた音声区間検出
部分的最小二乗回帰 Partial Least Squares Regression PLS
知識科学研究科 知識システム構築論講座 林研究室 佛明 智
第4章 識別部の設計 4-5 識別部の最適化 発表日:2003年5月16日 発表者:時田 陽一
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
第3章 線形回帰モデル 修士1年 山田 孝太郎.
情報経済システム論:第13回 担当教員 黒田敏史 2019/5/7 情報経済システム論.
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
ベイズ基準による 隠れセミマルコフモデルに基づく音声合成
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
``Exponentiated Gradient Algorithms for Log-Linear Structured Prediction’’ A.Globerson, T.Y.Koo, X.Carreras, M.Collins を読んで 渡辺一帆(東大・新領域)
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法.
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
実験計画法 Design of Experiments (DoE)
パターン認識特論 カーネル主成分分析 和田俊和.
わかりやすいパターン認識 第6章 特徴空間の変換 6.5 KL展開の適用法 〔1〕 KL展開と線形判別法 〔2〕 KL展開と学習パターン数
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

9. Unsupervised Learning 知的ロボティクス 9. Unsupervised Learning 知能メディアシステムクラスタ ロボットサブグループ 谷地 正章

第9章 Unsupervised Learning (教師なし学習 ) 第9章 教師なし学習 9.1 INTRODYUCTION (導入) 9.2 PRINCIPAL CONPORNENTS (主成分) 9.3 COMPETITIVE LEARNING (競合学習) 9.4 TOPOLOGICAL CONSTRAINTS (位相制約) 9.4.1 The Traveling Salesman Example (巡回セールスマン問題) 9.4.2 Natural Topologies (固有位相) 9.5 SUPERVISED COMPETITIVE LEARNING (教師あり競合学習) 9.6 MULTIMODAL DATA (マルチモーダルデータ) 9.6.1 Initial Labeling Algorithm (ラベリング初期化アルゴリズム) 9.6.2 Minimizing Disagreement (相違最小化) 9.7 INDEPENDENT COMPORNENTS (独立成分)

教師なし学習では,入力信号に冗長性が存在する. Abstract 概要 教師なし学習では,入力信号に冗長性が存在する. この冗長性を利用し,効率的に情報を圧縮する. 1. 主成分を求め利用する方法 2. 位相近傍とマルチモーダルデータを利用したClassifier(分類器)による方法 3. 独立成分を算出する方法

9.1 INTRODYUCTION (導入) ● 生物学的環境では学習のためのトレーニングセットが得られない ケースが多い. ● 生物学的環境では学習のためのトレーニングセットが得られない  ケースが多い. トレーニングセット : 既知の入力データとクラスの対応関係 ラベル付けされていない情報から推測しなくてはならない. 教師なし学習では,入力データに含まれる情報は冗長である. この冗長性を利用し,入力データの情報量を圧縮することが可能である. ● 本章では,ネットワークを利用した方法を取り上げる.

主成分分析 ● 単純な構造のネットワークを利用して入力データから主成分を抽出する. ● 共分散行列の固有ベクトルを基底として座標系に変換するで,  主成分を抽出する. 異なる応答をして欲しい類似した状況間の違いを求めることは困難. Classifier(分類器) ● 主成分分析の欠点を解消. ● 入力データに最も近いプロトタイプの属するクラスを,その入力の   クラスとして識別する. プロトタイプ点の垂直二等分線 ボロノイ線図 ● プロトタイプ点を直線で接続 ドロネー三角形分割

競合学習 Classifier(分類器) ● プロトタイプ点を求める方法 競合学習 Kohonen学習 ● マルチモーダルデータの利用 ● プロトタイプ点を求める方法 競合学習 競合学習 プロトタイプを競合させることに基づく. プロトタイプの位相近傍間との関係を利用. Kohonen学習 ● マルチモーダルデータの利用 教師あり学習に匹敵する性能を得る. 独立成分 ● 複雑な状況下では,入力を生起した複数の要因の重ね合わせであると考えられる. ● このような状態を,入力の高次の統計情報を利用してモデル化する方法.

9.2 PRINCIPAL CONPORNENTS (主成分) ● サンプルデータの共分散行列の固有ベクトルを座標系の基底ベクトルを  することで,サンプルの分散を最大化することができる(第4章). 固有ベクトルを求めるためには,逆行列を求める操作が必要となる. ● 入力ベクトルの次元が高いと,逆行列が得られる保証はない. そこで,固有値と固有ベクトルを二層ニューラルネットワークによって求める. Principal Component network

(9.1) Principal Component network : 出力 : 入力ベクトル : 重みベクトル ネットワークにベクトル入力される毎に ヘッブの学習則によって重みを更新する. (9.1) 近似,代入して, 全ての入力ベクトルについての平均をとると,

(9.2) 全ての重みベクトルについて, : 相関行列 が,0となる成分を持つ場合, は共分散行列となる. : 相関行列 が,0となる成分を持つ場合, は共分散行列となる. ●   が対称行列または半正定行列であるため,固有値はすべて正または0. 式(9.2)の解は,不安定なものとなる. ● 学習が進むと,重みベクトル  は最大の固有値を持つ固有ベクトルと   線形関係を成す. 固有ベクトルの方向は望ましい結果であるが,その大きさが制限されてしまう.

(9.3) (9.4) ● 問題の解決法 1. 学習中に実行される, の大きさを制約する強制項を加える. ● 問題の解決法 1. 学習中に実行される,   の大きさを制約する強制項を加える. 2. 式(9.1)に,   の大きさを抑制する強制項を加える. (9.3) ● 強制項の追加による性質 1. 2. 重みベクトル   と   の最大の固有値をもつ固有ベクトルが平行. 3. 重みベクトル   とデータの相違を最大化する方向ベクトルが平行. ● 出力ユニットがk個存在する場合への拡張 (9.4)

● An Example : Representing Visual Image Large image 8×8 patch 1. 処理対象のイメージから,固有関数によって表現   される8×8pixelのパッチをランダムに適用. パッチによって得られる画像の小領域は,64の要素をもつベクトルとして表現される. 2. 得られた複数のベクトルをトレーニングセットとして,   主成分分析を行なう. 3. 学習が収束した結果,出力ユニットにおける出力値は入力サンプルの  共分散行列の固有値に相当し,対応する重みベクトルはその固有ベク  トルとなる.

9.3 COMPETITIVE LEARNING (競合学習) ● 競合学習も主成分分析と同様,二層ニューラル  ネットワークによって主成分を求める. 重みの更新方法が大きく異なる. プロトタイプ ● 全ての入力パターン  について, が最小となる    を   のプロトタイプとする. ● プロトタイプは,距離関数に基づき入力領域を分割する.   その結果がボロノイ線図となる. ● あるプロトタイプを含む領域において,プロトタイプは全ての点について最近である.

この更新を, が十分に小さくなるまで行なう. ● Algorithm 9.1  競合学習 Figure 9.4 Prototype Input Data 各入力ベクトル  について, 1.   に最も近い,すなわち, が最小となるプロトタイプ   を求める. 2. 次に示す式によって,重みを更新する. : 学習率 この更新を,    が十分に小さくなるまで行なう.

重心戦略 プロトタイプをデータ集合の中心に配置する戦略 ● 競合学習の問題点 1. 決して勝つことのできない出力ユニットが存在する可能性がある. ランダムに選択された戦略の適用のために重みを初期化するが, 結果的に勝つことのできない出力ユニットが生じる. 2. 競合学習による結果が,重心戦略による結果の範囲内である. 重心戦略  プロトタイプをデータ集合の中心に配置する戦略 データのパターンが複雑である場合,集合同士が交差する可能性がある. そのため,集合の境界線付近にプロトタイプを配置する工夫が必要となる.

9.4 TOPOLOGICAL CONSTRAINTS (位相制約) 競合学習 各プロトタイプはそれぞれ独立として扱う. 実際は,いくつかのプロトタイプは,近傍間と固有の位相をなす. Kohonen学習は,この固有位相を利用し,“dead”ユニット問題(比較に勝つことができず,重みが更新されない)を解決する. ● 位相近傍に関する制約を追加し,近傍に位置するプロトタイプ間の  組み合わせを決定. 比較により,あるプロトタイプの入力パターンの方向に移動すると,その近傍のプロトタイプも僅かな量であるが移動する.

図.巡回セールスマン問題の実行結果(アメリカ大陸主要48都市) 9.4.1 The Traveling Salesman Example (巡回セールスマン問題) 入力都市セット       が与えられたとき,全ての都市を巡回し,再び開始都市に戻ってくる経路を最短とする問題. 最初,プロトタイプ都市は,マップ中央にリング状に配置されている. 学習が進むと,プロトタイプは入力に引きつけられ,やがて一致する. 図.巡回セールスマン問題の実行結果(アメリカ大陸主要48都市)

● Algorithm 9.2 Kohonen学習アルゴリズム に大きな値を代入. になるまでの間,各入力都市 について以下のことを行なう. 1. 最近のプロトタイプ都市 を計算する. 2. もし,最近のプロトタイプが固有に存在するの場合,プロトタイプとその近傍を   次の式に基づき動かす. 最近のプロトタイプがふたつの入力で重複した場合,プロトタイプを複製し,複製した一方のみを動かす. 3. を減少させる. 上記の は,プロトタイプとその近傍の距離. 1 Prototype

9.4.2 Natural Topologies (固有位相) 巡回セールスマン問題において,近傍の定義やプロトタイプの位相は,問題の要求(「最短経路」という解)によって決定していた. 一般的に,固有近傍関数を推測することは困難であり,入力データ自体から適当な近傍関数が定義される. プロトタイプ間の望ましい位相は,入力データの情報を利用して学習できる. 各入力データに最近のふたつのプロトタイプを求め,その近傍関係をプロトタイプのセットに加える. この方法を以下の2点を追加して拡張する. 1. Kohonen学習によって,現在のプロトタイプの位置を求める. 2. 継続的に相関関係を観測することによって,近傍関係を更新する.

● Algorithm 9.3 競合位相学習 パラメータ ,ステップの大きさ ,寿命 は時間に依存. の場合, プロトタイプ を初期化. 接続強度を表す,相互接続行列 各入力パターン と各 について以下を行なう. 2. 次の式に従い,これらの重みを更新する. a.  3. 相互接続の情報を更新する.      が十分に小さくなるまで行なう. b. 全ての    について, である場合, を増加させる. c. 全ての  について, かつ, 1.  より に近いプロトタイプの番号 を推定し,それに最も近いプロトタイプ を求める. パラメータ ,ステップの大きさ ,寿命 は時間に依存. の場合,

9.5 SUPERVISED COMPETITIVE LEARNING (教師あり競合学習) 競合学習の問題点 与えられた問題を考慮した最適のプロトタイプが得られる保証がない. この章では.プロトタイプのクラスが教示されている場合を考える. 今,入力データがふたつの確率分布を有する異なるクラスから得られたものとする. ふたつのクラスの境界付近の入力データから,語識別を最小化する基準を用いて.境界線を修正する.このときのプロトタイプをコードブックベクトルと呼ぶ. 誤識別を最小化する基準 : クラス  の事前生起確率 : クラス  に与えられる入力  の事前生起確率 は境界を表す.

を最小化するために,  について微分する. 適当な  を求めるために勾配降下法を利用する. より実用的な方法として,

● Algorithm 9.4 教師付き競合学習 1. 存在するべきクラス1から入力の方向にコードブックベクトルを移動させる. 各入力 1. 存在するべきクラス1から入力の方向にコードブックベクトルを移動させる. 各入力 について,最近のコードブックベクトル を求める. これらが異なるクラスに存在し,入力が2つのクラスの境界付近に存在している場合,以下を行なう. 2. 存在してはならないクラス2から入力とは反対方向にコードブックベクトルを   移動させる.

9.6 MULTIMODAL DATA (マルチモーダルデータ) 教師あり競合学習はよく機能するが,あくまで教示が与えられた場合である. 教示信号なしで学習を行なうために,複数の信号が同時に入力されると仮定する. 生物学的状況において,多種多様の刺激が同時に起こるケースが大半である. (例:視覚,聴覚,触覚,嗅覚は同時に起きる可能性が高い.) この章では,ふたつの様相が同時に生起する場合について考察する. 多様性を考慮した学習は,Fig9.9に示すネットワークによって実行される. 1. 異なるふたつの様相からの入力間の時間的一致を利用し,クラスの   プロトタイプを初期化する. 最適なプロトタイプが選択される保証はない. 2. 目的関数を利用し,新しい入力を識別する際に都合のよい位置にプロトタイプを   配置する.

9.6.1 Initial Labeling Algorithm (ラベリング初期化アルゴリズム) 各様相からの入力ベクトルは,2入力ネットワークに適用されると,ふたつの適合した「クラスプロトタイプ」ベクトルが競合学習によって選択される. 「クラスプロトタイプ」ベクトルはそれぞれネットワークの最上層に作用し,勝利クラスが選択され,その重みが修正される. Output(class) Modality/Network1 Modality/Network2 Input(X) Hidden Layer Codebook Vector (W) Implicit Labeling weights 競合学習による「クラスプロトタイプ」ベクトルの決定. データセットがネットワークに入力されると,初期化されたプロトタイプのセットが求められる.

9.6.2 Minimizing Disagreement (相違最小化) プロトタイプは配置されている段階で,次に新しい入力を識別するためにプロトタイプを最適化する. もっとも単純な例として,一組の刺激の場合を考える(Fig9.10). 様相1がクラスA(B)からの刺激を受けた場合,様相2もまたクラスA(B)からの刺激を受ける. 教師あり学習と非常に似ているが,ひとつの境界が動くのではなく,ふたつの境界がそれぞれの様相のために移動する点が異なる. 教師あり学習の場合,クラスのラベルが教示されているため,誤識別パターンの数を最小化するための基準を利用することが可能である. 教師なし学習では,「相違誤差」が基準として利用される. 相違誤差 : ふたつのネットワークによって異なる識別をされた入力パターン数

「相違誤差」では,共起したパターンは同様に分類されるため,不一致は誤りと判断するという考え方に基づいている. は境界を表す. ここで相違誤差を簡単に扱うために,同時確率密度関数 を適用する. 「相違誤差」は次式のように変形される.

を勾配降下法によって最小化するために, について偏微分する. 勾配降下法における の変化量は,次式で表される.

● Algorithm 9.5 教師なし競合学習 を求める. 各様相 について,以下を行なう. について,最近のコードブックベクトル 1. 各入力 について,最近のコードブックベクトル を求める. 2. これらが異なるクラスに存在し,入力が2つのクラスの境界付近に存在している場合,   コードブックベクトルを字式に基づく修正する.

Fig9.10の例において,境界 が境界 を移動(修正)するための指標となっている. ことにより,様相1がクラスAであると判断される可能性を上昇させる. 様相2がクラスAであると決定する と,様相1の境界 を右方向に修正する ことにより,様相1がクラスAであると判断される可能性を減少させる. 一方,様相2がクラスBであると決定すると, 様相1の境界 を左方向に修正する Fig9.10の例では,入力の次元は一次であり,識別するクラスはふたつであった. 入力の次元数と識別対象のクラス数が増加するとどうなるのか? Fig9.11に二次元,二様相の場合の実験結果を示す. Network(様相)1とNetwork2 (様相)への入力は1対1に対応している. Network(様相)1(2)では識別できない入力に対して,Network2(1)での識別結果を利用して(同じ識別結果として判断することで),境界を修正することができる.

● Examples : Simultaneous Visual and Acoustic Signals 5人の男性から,英語の音節,/ba/,/va/,/da/,/ga/,/wa/ の発音時の視覚および聴覚信号を記録. 視覚的情報 : 発声時の映像5フレームから,125の入力ベクトルを生成. 聴覚的情報 : 20msの信号を24のメロディコードに変換し,これを9回サンプリング.           合計216の入力ベクトルを生成. 結果をFig9.13に示す. トレーニングデータ100件に加え,20件のテストデータを利用. 単一話者,複数話者の場合について,ラベリング初期化アルゴリズム,相違最小化を利用して学習した結果が示されている. データの追加により,識別の性能を向上させることが可能である. また,教師あり学習に匹敵する識別結果が得られている事がわかる.

9.7 INDEPENDENT COMPORNENTS (独立成分) ● 独立成分では,問題空間は隠蔽された,独立な「要因」sによって    構成されていると仮定する. :重み行列 :各要因からの出力 ● 線形システムで観測する場合, ここで, である場合,システムへの入力は各要因からの出力となる. 独立成分の目的は,各要因からの出力を独立に観測することである. (非相関行列)が存在する必要がある. ● 独立成分を求めるためには, 結果的に, の対角共分散行列となる.すなわち, の対角成分が0以外 となる.

● しかし,主成分の解は2次以上を考慮しておらず,複合要因のモデルを 扱うことが できない. の場合について考える. ● より 主成分は,この式の解となる.このとき, よって, ● しかし,主成分の解は2次以上を考慮しておらず,複合要因のモデルを  扱うことが できない. 複合要因の次元 :

● 主成分分析にかわる基準として,エントロピー 最小化を行なう. ここで, は の非線形関数 で表される. は, これにより, :ヤコビ行列 (9.10) 今,エントロピー は, 式(9.10)より, この式において, ネットワークの重みには依存していないため, 右辺第一項に注目する.

● 勾配上昇法を利用すると, さらに,確率的勾配上昇法を利用するために,予測演算子を無視すると, ここで, の各要素は次式で表される. ● 勾配上昇法を利用すると, さらに,確率的勾配上昇法を利用するために,予測演算子を無視すると, ここで, の各要素は次式で表される. 逆行列部分を消去するために,この式に対称行列 を掛ける. この結果, Algorithm 9.6 が得られる.

● Algorithm 9.6 独立成分 二層ニューラルネットワークの重みをランダムに初期化し,次式に基づき重みを修正する. 学習率 は時間に依存して減少させる.