人工知能特論 8.教師あり学習と教師なし学習

Slides:



Advertisements
Similar presentations
ベイズの定理と ベイズ統計学 東京工業大学大学院 社会理工学研究科 前川眞一. 2 Coffe or Tea 珈琲と紅茶のどちらが好きかと聞いた場合、 Star Trek のファンの 60% が紅茶を好む。 Star Wars のファンの 95% が珈琲を好む。 ある人が紅茶を好むと分かったとき、その人が.
Advertisements

大規模コーパスから獲得した 名詞の出現パターンを用いた 事態名詞の項構造解析
コンピュータビジョン特論 第8回対象追跡 2006年11月22日 加藤丈和.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
「わかりやすいパターン認識」 第1章:パターン認識とは
人工知能特論 6.機械学習概論とバージョン空間法
情報学類 吉田光男 アドバイザー教官: 山本幹雄 先生
Pattern Recognition and Machine Learning 1.5 決定理論
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
人工知能概論 第11回学習と認識(2) パターン認識
人工知能概論 第10回 学習と認識(1) クラスタリング
上坂吉則 尾関和彦 文一総合出版 宮崎大輔2003年6月28日(土)
Bias2 - Variance - Noise 分解
リンク構造を考慮したベクトル空間法によるWebグラフ分割手法に関する研究
状況の制約を用いることにより認識誤りを改善 同時に野球実況中継の構造化
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの      数学的基礎 3.5 情報量基準を用いた構造学習 岩崎唯史.
DMLA 小町守 半教師あり学習 チュートリアル.
動詞の共起パターンを用いた 動作性名詞の述語項構造解析
クラスタリング 距離と分類の考え方.
ガウス過程による回帰 Gaussian Process Regression GPR
パターン認識とニューラルネットワーク 栗田多喜夫 2018/11/8 早稲田大学大学院理工学研究科講義.
Spectral Clustering による 語義曖昧性解消のための 教師あり類似度学習
Data Clustering: A Review
7. 音声の認識:高度な音響モデル 7.1 実際の音響モデル 7.2 識別的学習 7.3 深層学習.
人工知能特論 7.決定木の学習 北陸先端科学技術大学院大学 鶴岡 慶雅.
東京工科大学大学院 バイオニクス・情報メディア学専攻科 担当: 亀田 弘之
決定木とランダムフォレスト 和田 俊和.
定兼邦彦 今井浩 東京大学理学系研究科 情報科学専攻
第9章 混合モデルとEM 修士2年 北川直樹.
第5章:特徴の評価とベイズ誤り確率 5・3:ベイズ誤り確率とは
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
人工知能特論 9.パーセプトロン 北陸先端科学技術大学院大学 鶴岡 慶雅.
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
音高による音色変化に着目した音源同定に関する研究
IIR輪講復習 #17 Hierarchical clustering
第14章 モデルの結合 修士2年 山川佳洋.
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
訓練データとテストデータが 異なる分布に従う場合の学習
情報知能学基礎演習 豊田秀樹(2008)『データマイニング入門』 (東京図書)第6章
多変量解析ゼミ 第10回 第12章クラスター分析 発表者 直江 宗紀.
東京工科大学大学院 バイオニクス・情報メディア学専攻科 担当: 亀田 弘之
2018/9/10 ACL読み会 名古屋大学大学院 M2 佐藤・松崎研 土居裕典.
決定木 Decision Tree DT 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
Data Clustering: A Review
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
Nightmare at Test Time: Robust Learning by Feature Deletion
Data Clustering: A Review
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
第3章 線形回帰モデル 修士1年 山田 孝太郎.
Data Clustering: A Review
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
HMM音声合成における 変分ベイズ法に基づく線形回帰
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
人工知能特論II 第8回 二宮 崇.
ベイズ音声合成における 事前分布とモデル構造の話者間共有
クラスタリングを用いた ベイズ学習モデルを動的に更新する ソフトウェア障害検知手法
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
ベイジアンネットワーク概説 第3章 ベイジアンネットワークモデルの 数学的基礎 3.1 ベイジアンネットワークモデルの概要
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
Webページタイプによるクラスタ リングを用いた検索支援システム
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
Data Clustering: A Review
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

人工知能特論 8.教師あり学習と教師なし学習 北陸先端科学技術大学院大学 鶴岡 慶雅

今日の講義内容 教師あり学習 教師なし学習 講義資料 Naive Bayes 分類器 クラスタリング http://www.jaist.ac.jp/~tsuruoka/lectures/

教師あり学習と教師なし学習 教師あり学習 教師なし学習 各サンプルに出力の「正解」が付いている 分類、回帰 学習データを人手で作成する必要がある 教師なし学習 各サンプルは単なる属性値のベクトル クラスタリング パターンマイニング

Naive Bayes 分類器 Chapter 6.9 of Mitchell, T., Machine Learning (1997) Naive Bayes 分類器(classifier) 確率値を出力 理論、実装が簡単 問題によっては高い分類精度 属性の条件付独立を仮定 学習は非常に効率的 分類も高速

Bayes の定理 Thomas Bayes (1702 – 1761) 因果関係の順方向(生成方向)の確率を利用して逆方向の確率を計算することができる

Bayes の定理(例) 病気の診断結果から、本当にその病気にかかっているかどうかの確率を知りたい

Bayes の定理(例) 病気である確率は意外と低い

Naive Bayes 分類器 属性間の条件付独立性を仮定 ベイズの定理 分母はクラスによらず 一定 属性の条件付独立性

学習データ例 Day Outlook Temperature Humidity Wind PlayTennis D1 Sunny Hot High Weak No D2 Strong D3 Overcast Yes D4 Rain Mild D5 Cool Normal D6 D7 D8 D9 D10 D11 D12 D13 D14

Naive Bayes 分類器 事例 <Outlook = sunny, Temperature = cool, Humidity = high, Wind = strong>

クラスの事前確率 最尤推定 学習データ中での頻度の比

属性ごとの条件付確率 最尤推定 学習データ中での頻度の比

クラスの事後確率 正規化すると

スムージング 最尤推定 m-estimate of probability 学習データ中での頻度の比 事例の数が少ないときに確率値の推定が不安定 m-estimate of probability : 事前知識による確率の推定値 : equivalent sample size

Naive Bayes によるテキスト分類 テキスト分類 例 記事にカテゴリを自動的に付与する スパムメールのフィルタリング 製品レビューの自動認識 例 好きな(嫌いな)文章だけを抽出

There were doors all round the hall, but they were all locked; and when Alice had been all the way down one side and up the other, trying every door, she walked sadly down the middle, wondering how she was ever to get out again.

単語の条件付確率の計算 頻度が低すぎて確率が推定できない 位置は無視、m-estimate によるスムージング 文書の先頭から2番目に単語 “were” が出現する確率

教師なし学習 出力するべき「正解」が与えられていない クラスタリング パターンマイニング 似たようなサンプルをまとめあげる 階層的クラスタリング、k-means, etc.. パターンマイニング データ中の頻出するパターンを効率的に発見 Association rules, グラフマイニング, etc

クラスタリング 似たようなサンプルをまとめあげる 階層的クラスタリング 非階層的クラスタリング

階層的クラスタリング サンプル間に距離を定義 アルゴリズム 例 ベクトル空間モデルによるコサイン類似度 例 ベクトル空間モデルによるコサイン類似度 アルゴリズム すべてのサンプルを個別のクラスタとして開始 もっとも近いクラスタ同士を統合し新たなクラスタとする すべてのクラスタが統合されるまで 2 に戻り繰り返す

階層的クラスタリング 例 デンドログラム (Dendrogram) 1 3 2 5 4 1 2 3 4 5

クラスタ間の距離の定義 最短距離法(single link) 最長距離法(complete link) 重心法(centroid) 群平均法(group-average)

k-means法 クラスタの重心 最小化 アルゴリズム k個の代表点c1,…ckをランダムに選択 すべての点を代表点がもっとも近いクラスタに割り当て 各クラスタの重心を代表点にして2へ戻り繰り返す

k-means法 実装が簡単 計算量が小さい クラスタ数 k をあらかじめ決めておく必要 すべてのクラスタがほぼ同じサイズ 初期値のランダムな配置に依存

レポート課題 以下の学習データについて次の問いに答えよ Outlook Temperature Humidity Wind PlayTennis Sunny Hot High Weak No Strong Overcast Yes Rain Mild Cool Normal

レポート課題(続き) 問1 この学習データを正しく分類する決定木を作成せよ。ただし、各ノードでの属性の選択には information gain を利用し、計算過程も示すこと。 問2 Naive Bayes 分類器により以下の確率を計算せよ。