物体領域特徴の自動選定とマルチカーネル学習を用いた 特徴統合による一般物体認識 MIRU 2010 物体領域特徴の自動選定とマルチカーネル学習を用いた 特徴統合による一般物体認識 神戸大学大学院　工学研究科　情報知能学専攻 ◎中鹿 亘, 須賀 晃, 滝口 哲也, 有木 康雄 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 研究背景 自動での画像分類・検索技術の期待 WWW上の画像の爆発的な増大 ハードディスクの大容量化 計算機と人間のセマンティックギャップの解消 計算機は人間のような画像中の一般物体の認識が困難 計算機の一般物体認識能力向上が必要 猫？ CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 研究内容 一般物体認識 Bag-of-Features（局所特徴ヒストグラム）を用いた手法が主流 近年では，特徴統合による手法が注目を集めている 従来研究における問題点 背景ノイズの影響　⇒　重みそのものに誤りが生じる 特徴量単位の重み学習　⇒　次元ごとの識別性を考慮できない 方向 色 形状 局所 周期 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 提案手法 最適な重み学習のための自動背景除去 次元ごとのMultiple Kernel Learningによる重み学習 特 徴 抽 出 Saliency Map Graph Cuts 入力画像 視覚注意領域画像 出力画像 形状 局所 局所 色 より“正確”で“詳細”な重み付け統合 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 提案システム 入力 画像 注目領域 検出 Saliency Map セグメン テーション Graph Cuts 特徴抽出 BoF Color Gabor 識別 SVM 結果 出力 特徴統合 MKL + 境界学習 SVM 学習 画像 背景除去 CS17 Media Laboratory, Kobe University

背景除去 : Saliency Map + Graph Cuts ・・・顕著性のある領域（視覚注意を引く領域）を抽出 Graph Cuts ・・・画像セグメンテーション Object terminal min cut 色特徴（RGB） : Cp　　GMM S 物体コスト（t-link） 近傍類似コスト（n-link） 背景コスト（t-link） スケールサイズを変えながらラスタスキャン 色特徴（RGB） : Cp　　GMM T Background terminal 注目領域抽出 画像セグメンテーション CS17 Media Laboratory, Kobe University

背景除去 : Saliency Map + Graph Cuts 概要：　Saliency MapをSeedsとした多重解像度解析によるGraph Cuts 視覚注意領域抽出 Saliency Map seeds bkg LL,HL LH,HH Graph Cuts Segmentation 入力 LL: 平滑化画像 出力 多重解像度解析 n-link HL,LH,HH: 局所テクスチャ t-link 再学習 事前確率 GMM(色+テクスチャ)更新 t ← t-1 解像度レベルの更新 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 提案システム 入力 画像 注目領域 検出 Saliency Map セグメン テーション Graph Cuts 特徴抽出 BoF Color Gabor 識別 SVM 結果 出力 特徴統合 MKL + 境界学習 SVM 学習 画像 背景除去 CS17 Media Laboratory, Kobe University

特徴抽出 Bag-of-Features （局所輝度勾配特徴） Color Features （色特徴） DoG Grid [次元数]＝visual word数＝1000次元 Color Features （色特徴） Gabor Features （濃淡周期・方向特徴） [次元数]＝64次元×9ブロック＝576次元 [次元数]＝6方向×4周期×9ブロック＝216次元 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 提案システム 入力 画像 注目領域 検出 Saliency Map セグメン テーション Graph Cuts 特徴抽出 BoF Color Gabor 識別 SVM 結果 出力 特徴統合 MKL + 境界学習 SVM 学習 画像 背景除去 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 特徴統合 Multiple Kernel Learningによる特徴統合 複数のサブカーネルを線形統合し，新たなカーネルを求める手法 カーネルの線形統合を画像特徴の統合として用いる 各次元ごとにカーネルを用意し，最適なカーネル重みを求める CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 特徴統合 Single Kernel Learning Multiple Kernel Learning CS17 Media Laboratory, Kobe University

特徴統合 : Multiple Kernel Learning MKL-SVM 主問題 MKL-SVM 双対問題 Min-Max問題 βkを均等重みに初期化 βkを固定し，統合カーネルを単一カーネルとしてSVM学習を行いαiを求める αiを固定し，　　　　　　　　が増加するようにβkを求める CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 提案システム 入力 画像 注目領域 検出 Saliency Map セグメン テーション Graph Cuts 特徴抽出 BoF Color Gabor 識別 SVM 結果 出力 特徴統合 MKL + 境界学習 SVM 学習 画像 背景除去 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 物体クラスの識別 Support Vector Machine (SVM) による識別 One-Versus-Rest法 あるクラスを正，それ以外のクラスを負として2クラスの識別器を作成 各物体クラスについて学習 テストデータの分類 全識別器にテストデータを入力 スコアの最も高いクラスを識別結果として出力 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 予備実験:　セグメンテーション精度評価 使用データベース：　GrabCut Segmentation Database 画像枚数：　50枚 評価方法：　誤検出率 Over segmentation rate = 物体領域の誤検出ピクセル数/全ピクセル数 Under segmentation rate = 背景領域の誤検出ピクセル数/全ピクセル数 Error rate = (Over segmentation + Under segmentation) 実験内容： Saliency MapをSeedsとした多重解像度解析による繰り返しGraph Cuts セグメンテーション比較実験： Saliency Cut [Yu Fu, Jian Cheng, Zhenglong Li, Hanqing Lu, 2008] Saliency Map + 多重解像度解析Graph Cuts 従来手法 提案手法 http://research.microsoft.com/en-us/um/cambridge/projects/visionimagevideoediting/segmentation/grabcut.htm CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果1 多重解像度レベルによるエラー率の推移 LV.1 LV.2 LV.3 LV.4 LV.5 LV.6 OSR 10.78% 6.04% 4.37% 4.35% 4.31% USR 14.47% 9.27% 6.47% 6.71% 6.64% 6.77% ERR 25.25% 15.31% 10.84% 11.06% 10.95% 11.08% OSR　・・・　物体領域の誤検出率 USR　・・・　背景領域の誤検出率 ERR　・・・　全体の誤検出率 セグメンテーション結果 入力画像 正解マスク CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果2 従来手法と提案手法のエラー率の比較 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果3 繰り返しセグメンテーションの例 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 評価実験:　分類精度評価 使用データベース：　Caltech101 物体クラス数:　101種類 学習データ：　30枚/クラス 使用特徴量：　BoF(DoG), BoF(Grid), Color, Gabor 識別器：　MKL-SVM 評価方法：　平均分類率 (Confusion Matrix) 実験内容： 通常のMKL 通常のMKL + 背景除去 各次元ごとのMKL 各次元ごとのMKL + 背景除去 従来手法 提案手法 Caltech101:http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html Fei-Fei et al. (2004) CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果1 学習枚数 (a) MKL (b) 各次元MKL (c) MKL+背景除去 (d) 各次元MKL+背景除去 10枚 59.1% 61.6% 61.9% 64.2% 20枚 66.2% 67.9% 68.4% 72.3% 30枚 68.7% 69.9% 72.5% 76.4% 背景除去の効果 相乗効果 各次元の効果 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果2 　Confusion Matrix 横軸 – テストデータ 縦軸 – 分類されたクラス 各次元MKL + 背景除去 平均分類率：　76.4% CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 結論 まとめ Saliency MapをSeedsとしたGraph Cutsによる自動背景除去手法を提案し，特徴統合の重みの精度が向上した 各次元のMultiple Kernel Learningによる詳細な特徴統合手法を提案 背景除去と併せて，相乗的な識別性能の向上を確認 今後の課題 セグメンテーション精度，識別精度の向上 複数物体のセグメンテーション・識別への応用 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University ご清聴ありがとうございました CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 発表論文 全国大会 須賀晃，福田恵太，滝口哲也，有木康雄:　“SIFTとGraph Cutsを用いた物体認識及びセグメンテーション”,　電子情報通信学会総合大会，IEICE2008，D-12-122，p.253，2008-03 須賀晃，福田恵太，滝口哲也，有木康雄:　“SIFTとGraph Cuts を用いた物体認識及びセグメンテーション”, 情報処理学会平成20年度関西支部大会，C2-08，pp.181-182，2008-10　 （学生賞受賞） 須賀晃, 滝口哲也, 有木康雄:　“複数特徴量の重み付け統合による一般物体認識”, 電子情報通信学会総合大会，IEICE2009，D-12-76，p.185，2009-03 須賀晃, 滝口哲也, 有木康雄:　“複数特徴量の重み付け統合による一般物体認識”,情報処理学会平成21年度関西支部大会，C-03，CD-ROM，2009-09 国際会議 Akira Suga, Keita Fukuda, Tetsuya Takiguchi, Yasuo Ariki: “Object Recognition and Segmentation Using SIFT and Graph Cuts”, Proc. of 19th Int'l Conf. on Pattern recognition (ICPR08), CD-ROM, 2008-12 研究報告 須賀晃, 福田恵太, 滝口哲也, 有木康雄:　“SIFTとGraph Cuts を用いた物体認識及びセグメンテーション”,　画像の認識・理解シンポジウム, MIRU2008, IS2-3, pp.611-616, 2008-07 須賀晃，滝口哲也，有木康雄:　“複数特徴量の重み付け統合による一般物体認識”,画像の認識・理解シンポジウム, MIRU2009, IS1-29, pp.589-594, 2009-07 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 以下，質問用スライド CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 背景除去 Saliency Map CS17 Media Laboratory, Kobe University

Graph Cuts Segmentation 1. グラフの作成 n-link ・・・境界情報 近傍画素との類似度を表し，類似している程高いコスト値を持つ t-link ・・・領域情報 物体と背景の色ヒストグラムを混合ガウス分布モデルに適用．物体または背景に近い程高いコスト値を持つ 2. セグメンテーション 与えられたコストを用いて，min cut/max flowアルゴリズムによって画像のセグメンテーションを行う CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 繰り返し処理 距離変換 Pr(O) Pr(B) S:”obj” T:”bkg” p －ln Pr(B|Yp) －ln Pr(O|Yp) Color (RGB) :Cp Local texture:Tp Pr(Yp|O) Pr(Yp|B) 背景 物体 GMM 物体コスト 背景コスト CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University Kernel Learning Single Kernel Learning Multiple Kernel Learning CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 特徴統合 Semi-Infinite Linear Program (SILP) CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X 失敗例 原因 誤検出領域を再学習したことによって，誤検出領域が拡大したため CS17 Media Laboratory, Kobe University

実験結果X 単体特徴量による分類結果 特徴量 平均分類率 Bag-of-Features(DoG) 47.3% Bag-of-Features(Grid) 51.2% Color Features 38.5% Gabor Features 40.5% Multiple Kernel Learning 68.7% 提案手法 76.4% 学習画像枚数：　30枚 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X 学習枚数による分類率の変化 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X Recall BEST 5 and WORST 5 BEST 5 Class Recall WORST 5 1 Pagoda 1.000 Anchor 0.194 Sunflower Cup Inline skate 3 Cannon 0.226 4 Leopards 0.968 Okapi 0.258 Laptop 5 Stapler 0.290 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X Precision BEST 5 and WORST 5 BEST 5 Class Precision WORST 5 1 Grand piano 0.945 Anchor 0.129 2 Inline skate 0.934 Cannon 0.132 Mandolin 3 Camera 0.209 4 Chandelier 0.933 Cougar body 0.210 5 Mayfly 0.924 Cup 0.223 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X F-value BEST 5 and WORST 5 BEST 5 Class F-value WORST 5 1 Inline skate 0.9659 Anchor 0.1598 2 Mayfly 0.9512 Cannon 0.1728 3 Beaver 0.9417 Cup 0.2163 4 Windsor chair 0.9411 Okapi 0.2614 5 Mandolin 0.9345 Camera 0.2745 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X F値ワースト3クラスの学習画像例 CS17 Media Laboratory, Kobe University

CS17 Media Laboratory, Kobe University 実験結果X 繰り返しGraph Cutsの例　(Caltech 101 Datebase) 入力画像 Saliency Seed GC(1) GC(2) GC(3) CS17 Media Laboratory, Kobe University