TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁.

Slides:



Advertisements
Similar presentations
果物識別 補足資料 1. やりたい事  入力された画像内に映っている果物が何かを自動判 別するプログラムを組むこと 識別器 りんご です.
Advertisements

CV-Reading Describing Objects by their Attributes 山内悠嗣.
コンピュータビジョン特論B - Graph Cuts - 永橋知行.
画像セグメンテーションにおけるウェーブレット係数の局所テクスチャ特徴を用いたGraph Cuts
Building text features for object image classification
Learning Appearance in Virtual Scenarios for Pedestrian Detection
静止背景における動物体の検出と追跡 陳 謙 2004年10月19日.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
パネル型クエリ生成インタフェース画像検索システムの改良
Pose Tracking from Natural Features on Mobile Phones
Deep learningによる 読唇システム
画像処理論.
先端論文紹介ゼミ Role-based Context-specific Multiagent Q-learning
ORB: an efficient alternative to SIFT or SURF
雑音重み推定と音声 GMMを用いた雑音除去
SURF: Speeded Up Robust Features
CV輪講 姿勢変化に対応したSoft Decision Featureと Online Real Boostingによる人物追跡
ベイズ基準によるHSMM音声合成の評価 ◎橋本佳,南角吉彦,徳田恵一 (名工大).
画像情報を用いた交通流計測 情報工学科 藤吉研究室 EP02076 都築勇司
果物識別 マハラノビス距離を求める.
Dataset.
複数の言語情報を用いたCRFによる音声認識誤りの検出
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
階層的領域分割法に基づく 木構造条件付確率場による一般物体認識
大域的特徴としてBoFを導入した CRFによる一般物体認識
決定木とランダムフォレスト 和田 俊和.
モデルの適用範囲 モデルの適用領域 Applicability Domain (AD)
物体領域特徴の自動選定とマルチカーネル学習を用いた 特徴統合による一般物体認識
確率的学習アルゴリズムを用いた有限状態オートマトンの抽出に関する研究
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
Songzhu Gao, Tetsuya Takiguchi, Yasuo Ariki (Kobe University) 
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第二回 演習課題
高度情報演習1C 実践 画像処理プログラミング 第二回 演習課題
雑音環境下における 非負値行列因子分解を用いた声質変換
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
中京大学 工学部 電気電子工学科 白井研究室 4年 T 為房直人
Data Clustering: A Review
複数特徴量の重み付け統合による一般物体認識
1-Q-9 SVMとCARTの組み合わせによる AdaBoostを用いた音声区間検出
マルチ識別器を用いた 花画像検索システムの構築
バイラテラルフィルタを用いた音声特徴量抽出 2-Q-6
物体検出による視覚補助システム T215085 若松大仁 白井研究室.
Nightmare at Test Time: Robust Learning by Feature Deletion
論文紹介: “Joint Embedding of Words and Labels for Text Classification”
Chapter5-2 その他の話題 15k1015 関根修斗.
研究背景と目的 局面対による学習の高速化 学習器の説明 今後 大規模な強化学習技術の実証と応用 一方で、 強化学習手法の台頭
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
多重ベータ混合モデルを用いた調波時間構造の モデル化による音声合成の検討
距離空間ピラミッドを用いた LLCによる3次元物体認識
ベイズ基準による 隠れセミマルコフモデルに基づく音声合成
モデル作成にクラスタリングを用いた視線認識
バイラテラルフィルタによる実雑音下音声認識 のための音声特徴量抽出
ベイズ音声合成における 事前分布とモデル構造の話者間共有
メソッドの同時更新履歴を用いたクラスの機能別分類法
Le Lu, Rene Vidal John Hopkins University (担当:猪口)
クラスタリングを用いた ベイズ学習モデルを動的に更新する ソフトウェア障害検知手法
パターン認識特論 ADA Boosting.
音響伝達特性モデルを用いた シングルチャネル音源位置推定の検討 2-P-34 高島遼一,住田雄司,滝口哲也,有木康雄 (神戸大) 研究の背景
パターン認識特論 ADA Boosting.
音響伝達特性を用いた単一チャネル 音源位置推定における特徴量選択の検討
視覚補助のための物体検出 白井研究室 T 若松大仁
自己縮小画像と混合ガウス分布モデルを用いた超解像
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
Normalized Web Distanceを用いた音声認識の誤り訂正法 301-4in
Presentation transcript:

TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁

Alpha-expansion graph-cut algorithmによるセグメンテーション はじめに 一般物体認識 TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation [J.Shotton et al. ECCV’06] CRFモデルの作成 Alpha-expansion graph-cut algorithmによるセグメンテーション

Image Database Microsoft Researchで提供されている591枚の画像 21クラスに分類 学習用画像 45% 学習用画像 45% 検証用画像 10% テスト用画像 45% 21クラスに分類 Building, grass, tree, cow, sheep, sky, aeroplane, water, face, car bike, flower, sign, bird, book, chair, road, cat, dog, body, boat 手作業でラベル付け

Conditional Random Field モデルの作成 shape, texture, color, location, edgeの情報を1つの モデルとして扱う

Shape-texture potentials(1/3) Texton 17種類のfilter bank 出力値を用いたマハラノビス距離による k-meansクラスタリング Texton mapの生成

Shape-texture potentials(2/3) Texton mapから特徴量抽出 Shape filterの使用(Integral imageによる効率化) 矩形領域の面積をA i1→A,i2→0,i3→A/2 矩形領域 r にtexton t がどれだけ存在しているか

Shape-texture potentials(3/3) Textonの位置による特徴量の変化

注目クラスは残りのクラスに対して弱識別器を構築 Joint Boosting(1/2) マルチクラス識別器の構築 注目クラスは残りのクラスに対して弱識別器を構築

Joint Boosting(2/2) マルチクラス識別器の構築 評価値の算出 重みの更新

Color potentials Gaussian Mixture Model CIELab パラメータの算出

Edge potentials Pottsモデル 近傍ピクセルが異なるラベルであるか調べる

Location potentials 絶対位置における確率(LUTで保持) 例:skyなら画像の上の方に反応がある

Sub-sampling メモリの軽減 設定したグリッド上を計算 3×3, 5×5

Random feature selection 特徴量をランダムで選択 精度の保持と学習の高速化

セグメンテーション 最大化するラベルcの決定 Alpha-expansion graph-cut algorithm

実験:Boosting accuracy (a) 弱識別器の数とエラー (b)弱識別器の数と精度 276枚の学習用画像 学習回数5000回 特徴量選択無:14,000時間 特徴量選択有:42時間

実験:Object class recognition and segmentation

実験:セグメンテーションと認識精度&速度比較 Unary classifier only において有効 Texton Boostは効果的

セグメンテーション失敗例

クラス毎の精度 全体の精度は72.2%

異なるデータベースによる出力例 異なるデータベースにおいても認識可能

各モデルの出力例 CRFモデルにおいて各モデル毎の結果 (a) 入力画像 (b) 識別器のみ(Shape-texture) (c) Colorモデルなし (d) 全てのモデルを使用

おわりに Texton Boost 意味のあるcontext情報の追加 物体の構造 appearance, shape, context情報を同時に捉える特徴量 Boostingとピクセルごとの効果的な学習法 特徴量の共有とIntegral imageの組み合わせによるラベリング 意味のあるcontext情報の追加 物体の構造 object ‘parts’