人工知能特論 ８．教師あり学習と教師なし学習 北陸先端科学技術大学院大学　鶴岡 慶雅

今日の講義内容 教師あり学習 教師なし学習 講義資料 Naive Bayes 分類器 クラスタリング http://www.jaist.ac.jp/~tsuruoka/lectures/

教師あり学習と教師なし学習 教師あり学習 教師なし学習 各サンプルに出力の「正解」が付いている 分類、回帰 学習データを人手で作成する必要がある 教師なし学習 各サンプルは単なる属性値のベクトル クラスタリング パターンマイニング

Naive Bayes 分類器 Chapter 6.9 of Mitchell, T., Machine Learning (1997) Naive Bayes 分類器（classifier） 確率値を出力 理論、実装が簡単 問題によっては高い分類精度 属性の条件付独立を仮定 学習は非常に効率的 分類も高速

Bayes の定理 Thomas Bayes (1702 – 1761) 因果関係の順方向（生成方向）の確率を利用して逆方向の確率を計算することができる

Bayes の定理（例） 病気の診断結果から、本当にその病気にかかっているかどうかの確率を知りたい

Bayes の定理（例） 病気である確率は意外と低い

Naive Bayes 分類器 属性間の条件付独立性を仮定 ベイズの定理 分母はクラスによらず 一定 属性の条件付独立性

学習データ例 Day Outlook Temperature Humidity Wind PlayTennis D1 Sunny Hot High Weak No D2 Strong D3 Overcast Yes D4 Rain Mild D5 Cool Normal D6 D7 D8 D9 D10 D11 D12 D13 D14

Naive Bayes 分類器 事例 <Outlook = sunny, Temperature = cool, Humidity = high, Wind = strong>

クラスの事前確率 最尤推定 学習データ中での頻度の比

属性ごとの条件付確率 最尤推定 学習データ中での頻度の比

クラスの事後確率 正規化すると

スムージング 最尤推定 m-estimate of probability 学習データ中での頻度の比 事例の数が少ないときに確率値の推定が不安定 m-estimate of probability ： 事前知識による確率の推定値 ： equivalent sample size

Naive Bayes によるテキスト分類 テキスト分類 例 記事にカテゴリを自動的に付与する スパムメールのフィルタリング 製品レビューの自動認識 例 好きな(嫌いな）文章だけを抽出

There were doors all round the hall, but they were all locked; and when Alice had been all the way down one side and up the other, trying every door, she walked sadly down the middle, wondering how she was ever to get out again.

単語の条件付確率の計算 頻度が低すぎて確率が推定できない 位置は無視、m-estimate によるスムージング 文書の先頭から２番目に単語 “were” が出現する確率

教師なし学習 出力するべき「正解」が与えられていない クラスタリング パターンマイニング 似たようなサンプルをまとめあげる 階層的クラスタリング、k-means, etc.. パターンマイニング データ中の頻出するパターンを効率的に発見 Association rules, グラフマイニング, etc

クラスタリング 似たようなサンプルをまとめあげる 階層的クラスタリング 非階層的クラスタリング

階層的クラスタリング サンプル間に距離を定義 アルゴリズム 例 ベクトル空間モデルによるコサイン類似度 例　ベクトル空間モデルによるコサイン類似度 アルゴリズム すべてのサンプルを個別のクラスタとして開始 もっとも近いクラスタ同士を統合し新たなクラスタとする すべてのクラスタが統合されるまで 2 に戻り繰り返す

階層的クラスタリング 例 デンドログラム （Dendrogram） 1 3 2 5 4 1 2 3 4 5

クラスタ間の距離の定義 最短距離法（single link） 最長距離法（complete link） 重心法（centroid） 群平均法（group-average）

k-means法 クラスタの重心 最小化 アルゴリズム k個の代表点c1,…ckをランダムに選択 すべての点を代表点がもっとも近いクラスタに割り当て 各クラスタの重心を代表点にして２へ戻り繰り返す

k-means法 実装が簡単 計算量が小さい クラスタ数 k をあらかじめ決めておく必要 すべてのクラスタがほぼ同じサイズ 初期値のランダムな配置に依存

レポート課題 以下の学習データについて次の問いに答えよ Outlook Temperature Humidity Wind PlayTennis Sunny Hot High Weak No Strong Overcast Yes Rain Mild Cool Normal

レポート課題（続き） 問１ この学習データを正しく分類する決定木を作成せよ。ただし、各ノードでの属性の選択には information gain を利用し、計算過程も示すこと。 問２ Naive Bayes 分類器により以下の確率を計算せよ。