TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁.

Presentation on theme: "TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁."— Presentation transcript:

1 TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁

2 Alpha-expansion graph-cut algorithmによるセグメンテーション
はじめに 一般物体認識 TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation [J.Shotton et al. ECCV’06] CRFモデルの作成 Alpha-expansion graph-cut algorithmによるセグメンテーション

3 Image Database Microsoft Researchで提供されている591枚の画像 21クラスに分類 学習用画像 45%
学習用画像　45% 検証用画像　10% テスト用画像　45% 21クラスに分類 Building, grass, tree, cow, sheep, sky, aeroplane, water, face, car bike, flower, sign, bird, book, chair, road, cat, dog, body, boat 手作業でラベル付け

4 Conditional Random Field モデルの作成
shape, texture, color, location, edgeの情報を1つの モデルとして扱う

5 Shape-texture potentials(1/3)
Texton 17種類のfilter bank 出力値を用いたマハラノビス距離による k-meansクラスタリング Texton mapの生成

6 Shape-texture potentials(2/3)
Texton mapから特徴量抽出 Shape filterの使用(Integral imageによる効率化) 矩形領域の面積をA i1→A，i2→0，i3→A/2 矩形領域 ｒ にtexton t がどれだけ存在しているか

7 Shape-texture potentials(3/3)
Textonの位置による特徴量の変化

8 注目クラスは残りのクラスに対して弱識別器を構築
Joint Boosting(1/2) マルチクラス識別器の構築 注目クラスは残りのクラスに対して弱識別器を構築

9 Joint Boosting(2/2) マルチクラス識別器の構築 評価値の算出 重みの更新

10 Color potentials Gaussian Mixture Model CIELab パラメータの算出

11 Edge potentials Pottsモデル 近傍ピクセルが異なるラベルであるか調べる

12 Location potentials 絶対位置における確率(LUTで保持) 例：skyなら画像の上の方に反応がある

13 Sub-sampling メモリの軽減 設定したグリッド上を計算 3×3, 5×5

14 Random feature selection
特徴量をランダムで選択 精度の保持と学習の高速化

15 セグメンテーション 最大化するラベルｃの決定 Alpha-expansion graph-cut algorithm

16 実験：Boosting accuracy (a) 弱識別器の数とエラー (b)弱識別器の数と精度 276枚の学習用画像 学習回数5000回
特徴量選択無：14,000時間 特徴量選択有：42時間

17 実験：Object class recognition and segmentation

18 実験：セグメンテーションと認識精度&速度比較
Unary classifier only において有効 Texton Boostは効果的

19 セグメンテーション失敗例

20 クラス毎の精度 全体の精度は72.2%

21 異なるデータベースによる出力例 異なるデータベースにおいても認識可能

22 各モデルの出力例 CRFモデルにおいて各モデル毎の結果 (a) 入力画像 (b) 識別器のみ(Shape-texture)
(c) Colorモデルなし (d) 全てのモデルを使用

23 おわりに Texton Boost 意味のあるcontext情報の追加 物体の構造
appearance, shape, context情報を同時に捉える特徴量 Boostingとピクセルごとの効果的な学習法 特徴量の共有とIntegral imageの組み合わせによるラベリング 意味のあるcontext情報の追加 物体の構造 object ‘parts’