Data Clustering: A Review

Slides:



Advertisements
Similar presentations
多目的GAに対する パレート最適個体の分布制御 九州大学大学院工学府知能機械システム専攻徳井 宏司.
Advertisements

放射線の計算や測定における統計誤 差 「平均の誤差」とその応用( 1H) 2 項分布、ポアソン分布、ガウス分布 ( 1H ) 最小二乗法( 1H )
Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる.
動的計画法を用いたアラインメント  小菅孝史.
数理統計学(第ニ回) 期待値と分散 浜田知久馬 数理統計学第2回.
LZ符号化 森田 岳史.
プログラムのパタン演習 解説.
点対応の外れ値除去の最適化によるカメラの動的校正手法の精度向上
「わかりやすいパターン認識」 第1章:パターン認識とは
近似アルゴリズム 第10章 終了時刻最小化スケジューリング
Scalable Collaborative Filtering Using Cluster-based Smoothing
Pattern Recognition and Machine Learning 1.5 決定理論
ファジィ論理と ファジィ構造モデリング 北海道工業大学 情報デザイン学科 三田村 保.
分子生物情報学 動的計画法に基づく配列比較法 (ペアワイズアライメント法)
Approximation of k-Set Cover by Semi-Local Optimization
プログラミング演習(2組) 第12回
放射線の計算や測定における統計誤差 「平均の誤差」とその応用(1H) 2項分布、ポアソン分布、ガウス分布(1H) 最小二乗法(1H)
EMアルゴリズム クラスタリングへの応用と最近の発展
集団的意思決定支援法の実験環境に関する研究
発表日:平成15年4月25日 担当者:時田 陽一 担当箇所:第3章 誤差評価に基づく学習 3.1 Widrow-Hoffの学習規則
線形代数学 谷津 哲平 第1章 ベクトル 1.1 ベクトル空間 1.2 ベクトルの一次独立性 1.3 部分ベクトル空間
Fuzzy c-Means法による クラスター分析に関する研究
Spectral Clustering による 語義曖昧性解消のための 教師あり類似度学習
Data Clustering: A Review
第25章 単一始点最短路 3節 Bellman-Fordのアルゴリズム
決定木とランダムフォレスト 和田 俊和.
第9章 混合モデルとEM 修士2年 北川直樹.
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
ICML2006勉強会 2006年7月29日 局所フィッシャー判別分析 東京工業大学 計算工学専攻 杉山 将.
プログラミング演習I 行列計算と線形方程式の求解
LU分解を用いた連立一次方程式.
IIR輪講復習 #17 Hierarchical clustering
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
情報とコンピュータ 静岡大学工学部 安藤和敏
岩村雅一 知能情報工学演習I 第13回(後半第7回) 岩村雅一
アルゴリズムとデータ構造 第3章 ヒープ 6月10日分
分子生物情報学(2) 配列のマルチプルアライメント法
アルゴリズムとプログラミング (Algorithms and Programming)
先進的計算基盤システムシンポジウム SACSIS2007併設企画 マルチコアプログラミングコンテスト 「Cellスピードチャレンジ2007」
Data Clustering: A Review
連続領域におけるファジィ制約充足問題の 反復改善アルゴリズムによる解法 Solving by heuristic repair Algorithm of the Fuzzy Constraint Satisfaction Problems with Continuous Domains 北海道大学.
ファジィ制約充足問題への 連続領域の導入 Introducing continuous domains to
クラスター分析入門 高崎経済大学 宮田 庸一.
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
マルチ識別器を用いた 花画像検索システムの構築
Data Clustering: A Review
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
第4章 識別部の設計 4-5 識別部の最適化 発表日:2003年5月16日 発表者:時田 陽一
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年6月25日 3.1 関数近似モデル
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
第3章 線形回帰モデル 修士1年 山田 孝太郎.
Data Clustering: A Review
Data Clustering: A Review
Data Clustering: A Review
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
パターン認識 ークラスタリングとEMアルゴリズムー 担当:和田 俊和 部屋 A513
クローン検出ツールを用いた ソフトウェアシステムの類似度調査
Le Lu, Rene Vidal John Hopkins University (担当:猪口)
Advanced Data Structure 第3回
わかりやすいパターン認識 第3章 誤差評価に基づく学習 3.3 誤差逆伝播法.
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
計算の理論 I 反復補題 火曜3校時 大月 美佳 平成16年7月13日 佐賀大学知能情報システム学科.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
Data Clustering: A Review
割り当て問題(assignment problem)
データの改竄を防ぐ仕組み 2002/9/12 牧之内研究室「インターネット実習」Webページ
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

Data Clustering: A Review A.K. Jain, M.N. Murty, P.J. Flynn ~5.5 Fuzzy Clustering~ 院生ゼミ ‘04年5月18日(火曜日) 谷津 哲平

Fuzzy Clustering Fuzzy Clustering の概念 伝統的なクラスタリング手法では,パーティションを発生させる.     ⇒各パターン(個体)は唯一の1個のクラスタに属する ファジィクラスタリングでは,帰属度関数(membership function)を使って, 各パターンを全てのクラスタに関連付ける  Zadeh [1965]

Hard vs. Fuzzy Y X 3 2 5 1 4 7 9 8 6 H2 H1 Hard Clustering

Hard vs. Fuzzy F1 Y X 3 2 5 1 4 7 9 8 6 F2 H2 H1 Fuzzy Clustering

Membership value 帰属度(メンバシップ値) ↓ ( i, μi) : ( i 番目の個体, その帰属度 ) ・各クラスタへの帰属性の度合い ・各個体において,全てのクラスタに対する帰属度の合計は「1」 ↓ ( i, μi) : ( i 番目の個体, その帰属度 ) F1 = { (1,0.9), (2,0.8), (3,0.7), (4,0.6), (5,0.55), (6,0.2) , (7,0.2), (8,0.0), (9,0.0)} F2 = { (1,0.0), (2,0.0), (3,0.0), (4,0.1), (5,0.15), (6,0.4) , (7,0.35), (8,1.0), (9,0.9)}

Membership value F1 Y X 3 2 5 1 4 7 9 8 6 F2 Fuzzy Clustering 0.2 0.35 0.0 0.6 0.1 0.0 1.0 0.9 0.0 0.0 0.9 0.2 0.4 0.8 0.0 0.55 0.15 Fuzzy Clustering 帰属度の最も大きい値のクラスタに属させることでハードに変換できる 例) ある個体 xi がクラスタ ck に属するなら uik=1,属さないなら uik=0

Fuzzy Clustering Algorithm 評価関数 N:個体数 K:クラスタ数  U : 帰属度行列.N × K の行列 uij :U の要素.個体 xi のクラスタ cj に対する帰属度を表す xi : i 番目の個体  ck : k 番目のファジィクラスタ中心 

Fuzzy Clustering Algorithm Step1 帰属度行列 U によって,ファジィパーティションの 初期値を選ぶ Step2 U を使って評価関数の値を求める Step3 U の著しい変化がなくなるまで,Step2を繰り返す E2の値を小さくしていく N:個体数 K:クラスタ数 U:帰属度行列 x:個体 c:クラスタ中心

Fuzzy c-means (FCM) <FCM> 1961 Ruspini : fuzzy set theory を初めて適用 1981 Bezdek : FCMアルゴリズムの一般化 1992 Dave : fuzzy c-shell と 楕円境界の検出の提示 <FCM> ・最もポピュラーなファジィクラスタリング手法 ・hard k-means よりも局所的な最小値を避けることが優れている ・二乗エラー基準の局所的な最小値に集めることができる