SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション

Presentation on theme: "SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション"— Presentation transcript:

1 SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
須賀　晃，福田恵太，滝口哲也，有木康雄（神戸大） 情報処理学会関西支部大会

2 研究背景 画像データの大容量化 画像処理による物体認識 ロボットビジョン 人手による分類や検索が困難 コンピュータによる自動化の必要性
ICタグによる認識手法では、自然物に対応出来ない点やコスト面に 課題がある ロボットビジョン より人間に近い視覚形成 認識とセグメンテーション 情報処理学会関西支部大会

3 物体認識 物体認識における問題点 局所特徴を用いた物体認識手法 物体の写り方による特徴の変化・消失 撮影環境による特徴の変化
物体の回転，スケール変化，自己オクルージョン 撮影環境による特徴の変化 照明変化 他の物体の遮蔽などによる特徴の消失 相互オクルージョン 局所特徴を用いた物体認識手法 情報処理学会関西支部大会

4 SIFT (Scale-Invariant Feature Transform)
1. スケール変化に対しての不変性 特徴点の検出と記述を行 うアルゴリズム 画像の回転，スケール変 化，照明変化に頑健な特 徴量の記述が可能 主に画像間のマッチング や物体認識に用いられる 使用例：　AIBOビジョンシ ステム(SONY) Detection of extremum 2. 回転に対しての不変性 8 orientations 情報処理学会関西支部大会

5 領域セグメンテーション エネルギー最小化による手法 Graph Cuts
Snakes, Level Set Method, Graph Cuts Graph Cuts 境界情報と領域情報を用いたセグメンテーション 大域的な最小解を求めることが可能 情報処理学会関西支部大会

6 Graph Cuts 1. グラフの作成 n-link ・・・境界情報 t-link ・・・領域情報 2. グラフのカット
近傍画素との類似度を表し，類似している程高いコスト値を持つ t-link ・・・領域情報 物体と背景の色ヒストグラムを混合ガウス分布モデルに適用．物体または背景に近い程高いコスト値を持つ 2. グラフのカット 与えられたコストを用いて，min cut/max flowアルゴリズムによって画像のセグメンテーションを行う 情報処理学会関西支部大会

7 セグメンテーション(Graph Cuts)
提案手法 認識(SIFT) セグメンテーション(Graph Cuts) 回転・スケール変化・照明変化に不変な特徴量記述アルゴリズム セグメンテーション問題をエネルギー最小化問題として解く手法 メリット メリット 画像間の高精度な局所的な対応付けやマッチングが可能 領域と境界の両方の情報を用いたセグメンテーションが可能 デメリット デメリット 局所情報のため，全体領域が捉えられない 予め人間が物体と背景のラベル(seed)を与える必要がある 統合 デメリットを補い合う形で統合 SIFT特徴の投票処理により物体を認識 物体上に得られたSIFT特徴をGraph Cutsの物体seedとして 用いる 認識とセグメンテーションの両方を自動で行うことが可能 情報処理学会関西支部大会

8 認識 特徴抽出処理 マッチング処理 投票処理 クラスタリング処理 SIFT特徴を検出 入力画像とモデル画像における対応点を探索
入力画像中の各物体の各中心候補点に投票を行う クラスタリング処理 投票された候補点をクラスタリングし、閾値以上の投票が得ら れたクラスタを認識 情報処理学会関西支部大会

9 特徴抽出、マッチング処理 画像入力 特徴抽出 マッチング 情報処理学会関西支部大会

10 投票処理、クラスタリング処理 モデル画像の基準点(中心点)を定 め，各特徴点に対して位置ベクトル (Δx,Δy)を算出
入力画像が与えられると，マッチング の取れた各特徴点は，それらの基準 点へ投票を行う ：スケール ：オリエンテーション 正しく対応が取れていると，各特徴点から求められる基準点が同じ位置に集まるため，その位置に多くの投票が集まることになる 各クラスタにおいて、閾値以上の投票が得られた場合、物体が存在すると判定 情報処理学会関西支部大会

11 セグメンテーション seedの作成 seed ・・・ 物体or背景を示すラベル
物体モデルとマッチングの取れたSIFT特徴のうち、投票処理で認識さ れたクラスタに投票した特徴点のみに選定 選定処理前 [%] 選定処理後 [%] 78.4 99.9 物体seed 認識したクラスタに投票した特徴点 （選定された特徴点）を物体seedとし て使用 背景seed 物体seedを用いて，モデル画像をア フィン変換し，その外側領域を背景 seedとして使用 自動で作成したseedの例 情報処理学会関西支部大会

12 実験 実験環境 モデル画像 テスト画像 ２０物体（コップ，携帯電話etc…） 撮影方向・・・８方向（４５度ずつ） １物体あたり８枚 背景黒
様々な大きさ，角度で撮影 １００枚 情報処理学会関西支部大会

13 実験結果 認識精度 セグメンテーション精度 再現率 適合率 82.1% 100% 3.73% 6.21% 9.94%
物体領域エラー 背景領域エラー 全体エラー 3.73% 6.21% 9.94% (a)　コップ (b)　人形 (c)　靴 (d)　カン，携帯電話 (e)　5種類の本 セグメンテーション結果の例 情報処理学会関西支部大会

14 まとめと今後の課題 まとめ SIFTとGraph Cutsを組み合わせることで，認識とセグメンテー ションを自動で行うことが可能となった 今後の課題 SIFT特徴があまり取れない物体は認識率が低く，seedが少な い・偏りのある場合にセグメンテーションのエラー率が高い モデル数の増加に伴うマッチング計算時間の増加 情報処理学会関西支部大会

15 御静聴ありがとうございました 情報処理学会関西支部大会