SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション 須賀　晃，福田恵太，滝口哲也，有木康雄（神戸大） 情報処理学会関西支部大会

研究背景 画像データの大容量化 画像処理による物体認識 ロボットビジョン 人手による分類や検索が困難 コンピュータによる自動化の必要性 ICタグによる認識手法では、自然物に対応出来ない点やコスト面に 課題がある ロボットビジョン より人間に近い視覚形成 認識とセグメンテーション 情報処理学会関西支部大会

物体認識 物体認識における問題点 局所特徴を用いた物体認識手法 物体の写り方による特徴の変化・消失 撮影環境による特徴の変化 物体の回転，スケール変化，自己オクルージョン 撮影環境による特徴の変化 照明変化 他の物体の遮蔽などによる特徴の消失 相互オクルージョン 局所特徴を用いた物体認識手法 情報処理学会関西支部大会

SIFT (Scale-Invariant Feature Transform) 1. スケール変化に対しての不変性 特徴点の検出と記述を行 うアルゴリズム 画像の回転，スケール変 化，照明変化に頑健な特 徴量の記述が可能 主に画像間のマッチング や物体認識に用いられる 使用例：　AIBOビジョンシ ステム(SONY) Detection of extremum 2. 回転に対しての不変性 8 orientations 情報処理学会関西支部大会

領域セグメンテーション エネルギー最小化による手法 Graph Cuts Snakes, Level Set Method, Graph Cuts Graph Cuts 境界情報と領域情報を用いたセグメンテーション 大域的な最小解を求めることが可能 情報処理学会関西支部大会

Graph Cuts 1. グラフの作成 n-link ・・・境界情報 t-link ・・・領域情報 2. グラフのカット 近傍画素との類似度を表し，類似している程高いコスト値を持つ t-link ・・・領域情報 物体と背景の色ヒストグラムを混合ガウス分布モデルに適用．物体または背景に近い程高いコスト値を持つ 2. グラフのカット 与えられたコストを用いて，min cut/max flowアルゴリズムによって画像のセグメンテーションを行う 情報処理学会関西支部大会

セグメンテーション(Graph Cuts) 提案手法 認識(SIFT) セグメンテーション(Graph Cuts) 回転・スケール変化・照明変化に不変な特徴量記述アルゴリズム セグメンテーション問題をエネルギー最小化問題として解く手法 メリット メリット 画像間の高精度な局所的な対応付けやマッチングが可能 領域と境界の両方の情報を用いたセグメンテーションが可能 デメリット デメリット 局所情報のため，全体領域が捉えられない 予め人間が物体と背景のラベル(seed)を与える必要がある 統合 デメリットを補い合う形で統合 SIFT特徴の投票処理により物体を認識 物体上に得られたSIFT特徴をGraph Cutsの物体seedとして 用いる 認識とセグメンテーションの両方を自動で行うことが可能 情報処理学会関西支部大会

認識 特徴抽出処理 マッチング処理 投票処理 クラスタリング処理 SIFT特徴を検出 入力画像とモデル画像における対応点を探索 入力画像中の各物体の各中心候補点に投票を行う クラスタリング処理 投票された候補点をクラスタリングし、閾値以上の投票が得ら れたクラスタを認識 情報処理学会関西支部大会

特徴抽出、マッチング処理 画像入力 特徴抽出 マッチング 情報処理学会関西支部大会

投票処理、クラスタリング処理 モデル画像の基準点(中心点)を定 め，各特徴点に対して位置ベクトル (Δx,Δy)を算出 入力画像が与えられると，マッチング の取れた各特徴点は，それらの基準 点へ投票を行う ：スケール ：オリエンテーション 正しく対応が取れていると，各特徴点から求められる基準点が同じ位置に集まるため，その位置に多くの投票が集まることになる 各クラスタにおいて、閾値以上の投票が得られた場合、物体が存在すると判定 情報処理学会関西支部大会

セグメンテーション seedの作成 seed ・・・ 物体or背景を示すラベル 物体モデルとマッチングの取れたSIFT特徴のうち、投票処理で認識さ れたクラスタに投票した特徴点のみに選定 選定処理前 [%] 選定処理後 [%] 78.4 99.9 物体seed 認識したクラスタに投票した特徴点 （選定された特徴点）を物体seedとし て使用 背景seed 物体seedを用いて，モデル画像をア フィン変換し，その外側領域を背景 seedとして使用 自動で作成したseedの例 情報処理学会関西支部大会

実験 実験環境 モデル画像 テスト画像 ２０物体（コップ，携帯電話etc…） 撮影方向・・・８方向（４５度ずつ） １物体あたり８枚 背景黒 様々な大きさ，角度で撮影 １００枚 情報処理学会関西支部大会

実験結果 認識精度 セグメンテーション精度 再現率 適合率 82.1% 100% 3.73% 6.21% 9.94% 物体領域エラー 背景領域エラー 全体エラー 3.73% 6.21% 9.94% (a)　コップ (b)　人形 (c)　靴 (d)　カン，携帯電話 (e)　5種類の本 セグメンテーション結果の例 情報処理学会関西支部大会

まとめと今後の課題 まとめ SIFTとGraph Cutsを組み合わせることで，認識とセグメンテー ションを自動で行うことが可能となった 今後の課題 SIFT特徴があまり取れない物体は認識率が低く，seedが少な い・偏りのある場合にセグメンテーションのエラー率が高い モデル数の増加に伴うマッチング計算時間の増加 情報処理学会関西支部大会

御静聴ありがとうございました 情報処理学会関西支部大会