Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション

Presentation on theme: "Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション"— Presentation transcript:

1 Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
福田恵太，滝口哲也，有木康雄 (神戸大学) 電子情報通信学会 総合大会 2008

2 研究目的 画像の認識，識別，検索，編集など 様々な画像処理技術の前処理 画像処理における重要な問題の一つに一枚の画像から対象と
なる領域を抽出するセグメンテーションの問題がある． 背景 物体 画像の認識，識別，検索，編集など 様々な画像処理技術の前処理

3 研究背景 近年，セグメンテーション問題をエネルギー最小問題で解く手法が多く提案されている．
動的輪郭モデル(Snakes), Level Set Method その中でGraph Cutsという手法を用いる． Y.Boykov, M.P.Jolly,“Interactive graph cuts for optimal boundary & region segmentation of object in N-D images”, IEEE International Conference on Computer Vision and Pattern Recognition 利点 領域と境界のエネルギー関数から大域解を求める 簡単なラベル付けからのセグメンテーションが可

4 Graph Cuts O B 物体らしいほど大きな値 近傍画素が類似しているほど大きな値 S:”obj” t-link グラフの作成 O
T:”bkg” O B t-link グラフの作成 n-link 入力画像 (3×4) t-link カット 背景らしいほど大きな値 S T O B min cut セグメンテーション S→Tへのコスト総和が最小となるカット セグメンテーション結果

5 従来手法の問題点(1) 局所的なエッジに弱い 平滑化処理の繰り返しによるグラフカット 局所的なエッジ情報に頑健なセグメンテーションが可能
　 局所的なエッジ情報に頑健なセグメンテーションが可能 T. Nagahashi, H.Fujiyoshi, and T.Kanade，“ Image Segmentation Using Iterated Graph Cuts Based on Multi-scale Smoothing， ”ACCV2007 エッジの強いところでノイズが生じる

6 多重解像度解析により平滑化と局所テクスチャ特徴の定義を並列に行い，繰り返しグラフカットによるセグメンテーションを行う．
従来手法の問題点(2) 物体及び背景が類似した色を持つ画像 局所テクスチャ特徴量を色分布と共に t - linkで扱う 色分布に依存せずセグメンテーションが可能 色が類似しているため区別できない 多重解像度解析により平滑化と局所テクスチャ特徴の定義を並列に行い，繰り返しグラフカットによるセグメンテーションを行う．

7 Graph Cuts Segmentation
提案手法の流れ seed LL: 平滑化画像 Haar Waveletによる多重解像度解析 (level k) LL,LH,HL,HH画像取得 Graph Cuts Segmentation 入力 出力 n-link t-link LH,HL,HH:テクスチャ特徴 事前確率 GMM(色+テクスチャ)の更新 k ← k-1 高周波からテクスチャを定義し，色特徴と共に学習 全てのエッジにコストを与えたので，グラフカットを実行 抽出結果を元に再学習と解像度レベルを前の段階に戻す 初期値kまで多重解像度を行い，各周波数画像を得る 低周波数画像をn-linkに用いることで平滑化

8 HL:縦方向 LH:横方向 HH:斜め方向の変化量
多重解像度解析 LL2 HL2 多重解像度解析 画像データを特定の周波数帯域を持ついくつかの小さいサイズの画像データに分割する方法. LL1 HL1 HL1 LH2 HH2 LH1 HH1 LH1 HH1 Haar Wavelet 変換　（k=2の時） Level 0 Level 1 Level 2 LL:平滑化画像 HL:縦方向 LH:横方向 HH:斜め方向の変化量 n-link に使用 t-link に使用

9 n-link n-linkのコスト LL：平滑化画像 (n-link)
低解像画像から徐々に解像度を上げることで，大域的から局所的なセグメンテーションを可能とする． T. Nagahashi [ACCV2007] Level 1 Level 0 近接が類似しているほど高い値を持つ． n-linkのコスト p q

10 局所テクスチャ特徴量 注目画素ｐ周辺 (３×３) のウェーブレット係数の絶対値平均 とする 物体背景それぞれの色＋テクスチャ特徴量を学習し，
HL,LH,HH：局所テクスチャ特徴を定義 注目画素ｐ周辺 (３×３) のウェーブレット係数の絶対値平均 とする 元画像 LH (Level 1) HH (Level 1) HL (Level 1) 物体背景それぞれの色＋テクスチャ特徴量を学習し， t-linkのエッジに与えるコストを計算する．

11 t-link 事前確率 （空間情報） t-linkのコスト (事後確率) O B 距離変換 T：”bkg” 背景らしいほど 高い値をもつ
色 (RGB) テクスチャ特徴　をＧＭＭ T：”bkg” O B 距離変換 背景らしいほど　　高い値をもつ 事前確率　（空間情報） {p,Ｔ}間のt-linkへ使用 物体と背景の境界を0.5とし，境界からの距離を用いて，事前確率を定義する． 背景も同様に

12 セグメンテーション S エッジに対するコスト O B T 以上のように全エッジに対してコストを与え， min-cut / max-flowアルゴリズムにより，グラフのカットを行い，セグメンテーション画像を得る

13 実験条件 評価方法として， 従来手法(1) Graph Cuts 従来手法(2) 平滑化処理のみのGraph Cuts
Berkley Image database(50枚)を使用 (HS画像あり) 多重解像度解析はLevel 3まで実行 以下の式から誤検出率err(%)を算出 物体を背景と誤検出 背景を物体と誤検出

14 比較的誤検出率が高かった画像について考察
実験結果 各手法のエラー率(%) 解像度レベル k 従来手法(1) 従来手法(2) 提案手法 1 4.48 3.67 3.18 2 2.89 2.68 3 2.90 1.57 比較的誤検出率が高かった画像について考察

15 実験結果 ( 2 ) 平滑化と事前確率による効果 元画像+seed 従来手法(1) 従来手法(2) 提案手法 17.86% 4.42%
1.93% 9.96% 0.87% 0.57%

16 実験結果 ( 3 ) テクスチャ特徴量による効果 元画像+seed 従来手法(1) 従来手法(2) 提案手法 10.56% 7.45%
1.86% 11.84% 16.64% 1.99%

17 実験結果 ( 4 ) テクスチャ変化の度合いが異なる画像に対する効果 元画像+seed 従来手法(1) 従来手法(2) 提案手法

18 まとめと考察 多重解像度解析により平滑化と局所テクスチャ特徴を用いた繰り返しによるGraph Cutsを提案した．
　テクスチャ特徴と色特徴どちらが有効か画像ごとに違うためその差を考える．

19 御静聴ありがとうございました

20 処理時間について 画像サイズ：650×400 従来(1) 従来(2) 提案 10.92秒 62.96秒 87.22秒
画像サイズ：480×320 従来(1) 従来(2) 提案 8.04秒 36.77秒 55.43秒 Pentium® 4 CPU 3.20GHz

21 ＳからTへのエッジが最も小さくなるようにカットする
min cut max flow アルゴリズム Ｓ つながりが強いほどカットは通らない． Ｔ min cut T S ＳからTへのエッジが最も小さくなるようにカットする

22 花弁領域抽出の自動化にGraph Cuts
応用目的 花弁領域抽出の自動化にGraph Cuts