複数特徴量の重み付け統合による一般物体認識

Slides:



Advertisements
Similar presentations
自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
Advertisements

CV-Reading Describing Objects by their Attributes 山内悠嗣.
顔表情クラスタリングによる 映像コンテンツへのタギング
BRIEF: Binary Robust Independent Elementary Features
コンピュータビジョン特論B - Graph Cuts - 永橋知行.
画像セグメンテーションにおけるウェーブレット係数の局所テクスチャ特徴を用いたGraph Cuts
Building text features for object image classification
HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
パネル型クエリ生成インタフェース画像検索システムの改良
「わかりやすいパターン認識」 第1章:パターン認識とは
Pose Tracking from Natural Features on Mobile Phones
画像処理工学 2012年2月2日 担当教員 北川 輝彦.
イラストの著作権保護のためのHOG特徴量を用いた複製検出
符号化のための重み付きジョイントバイラテラルフィルタを用いた 奥行き画像超解像
雑音重み推定と音声 GMMを用いた雑音除去
顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男.
TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁.
SURF: Speeded Up Robust Features
DARTs: Efficient scale-space extraction of DAISY keypoints
CV輪講 姿勢変化に対応したSoft Decision Featureと Online Real Boostingによる人物追跡
テキストの類似度計算
高山建志 五十嵐健夫 テクスチャ合成の新たな応用と展開 k 情報処理 vol.53 No.6 June 2012 pp
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第三回 演習課題 画像中からの物体抽出処理(色情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/08.
Topic-Word Selection Based on Combinatorial Probability
Yuri Y. Boykov Marie-Pierre Jolly
自閉症スペクトラム障害児と定型発達児の識別に関する音響特徴量選択の検討
複数尤度を用いた 3次元パーティクルフィルタによる選手の追跡 IS1-39
内視鏡画像からの奥行き情報提示による 視覚支援システムの開発
複数の言語情報を用いたCRFによる音声認識誤りの検出
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
大域的特徴としてBoFを導入した CRFによる一般物体認識
物体領域特徴の自動選定とマルチカーネル学習を用いた 特徴統合による一般物体認識
画像処理工学 2013年1月23日 担当教員 北川 輝彦.
音高による音色変化に着目した音源同定に関する研究
Songzhu Gao, Tetsuya Takiguchi, Yasuo Ariki (Kobe University) 
高度情報演習1C 実践 画像処理プログラミング 第二回 演習課題
第14章 モデルの結合 修士2年 山川佳洋.
雑音環境下における 非負値行列因子分解を用いた声質変換
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
東京農業大学 東京情報大学 附属第一高等学校・中等部 附属第二高等学校 附属第三高等学校・中等部
2018/9/10 ACL読み会 名古屋大学大学院 M2 佐藤・松崎研 土居裕典.
Data Clustering: A Review
SURF+BoFによる特定物体認識 卒業研究1 1 11/27/11.
1-Q-9 SVMとCARTの組み合わせによる AdaBoostを用いた音声区間検出
マルチ識別器を用いた 花画像検索システムの構築
物体検出による視覚補助システム T215085 若松大仁 白井研究室.
Number of random matrices
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
画像処理工学 2011年12月1日 担当教員 北川 輝彦.
距離空間ピラミッドを用いた LLCによる3次元物体認識
モデル作成にクラスタリングを用いた視線認識
バイラテラルフィルタによる実雑音下音声認識 のための音声特徴量抽出
ポッツスピン型隠れ変数による画像領域分割
時間連続性を考慮した 動画からの人物の姿勢推定
音響特徴量を用いた自閉症児と定型発達児の識別
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
ビデオデータベースを用いた 流体画像に基づくアニメーション生成
音響伝達特性を用いた単一チャネル 音源位置推定における特徴量選択の検討
Webページタイプによるクラスタ リングを用いた検索支援システム
自己縮小画像と混合ガウス分布モデルを用いた超解像
AAMと回帰分析による視線、顔方向同時推定
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
Normalized Web Distanceを用いた音声認識の誤り訂正法 301-4in
ランダムプロジェクションを用いた音響モデルの線形変換
Presentation transcript:

複数特徴量の重み付け統合による一般物体認識 神戸大学大学院工学研究科情報知能学専攻 CS 17 情報メディア講座 有木研究室 須賀 晃

研究背景 近年,デジタルカメラの普及やハードディスクの大容量化によって,一般の個人が大量にデジタル画像を蓄積することが可能となった 計算機が画像に写っている物を認識したり,画像の意味を理解したりすることができないため,現状では大量の画像データの分類や検索には人手の介入が不可欠 一般物体認識

研究内容 一般物体認識分野において,SIFT特徴をクラスタリングし,量子化したVisual Wordのヒストグラムで画像を表現するBag-of-Featuresを用いた手法が一般に用いられる しかし,同一物体カテゴリ内のアピアランス変化の大きいものや,輝度変化が少ない(或いは多すぎるもの)に対してはSIFT特徴のみでは精度が悪いものも存在し,あらゆる物体に対応できない 複数の特徴量を用いて,局所,色,形状情報などから総合的に認識する 各カテゴリごとに識別に有効な特徴量をTF-IDF,相互情報量,カイ二乗値の3つの手法から学習 有効な特徴量のスコアに重みをつけて統合する 背景の影響を抑えるため,Saliency MapとGraph Cutsを用いて予め物体領域を大まかに限定

Saliency Map 画像中の視覚的注意を引く領域を抽出する手法 一般的に画像中の物体は背景に比べて顕著性が高いと考えられる 内側領域R1と外側領域R2からなるフィルタを用意し, L*a*b色空間の特徴ベク トルの距離を用いてコントラストを測定 スケールサイズを変えながらラスタスキャンを行う 各スケールのMapを統合して最終的なSaliency Mapを作成する

Graph Cuts 画像セグメンテーション手法 Saliency MapからSEEDを学習し,Graph Cutsを行う 一段階前の抽出結果を元に再学習し,繰り返し領域を修正 n-link ・・・境界情報 Object terminal 近傍画素との類似度を表し,類似している程高いコスト値を持つ S t-link ・・・領域情報 物体と背景の色ヒストグラムを混合ガウス分布モデルに適用.物体または背景に近い程高いコスト値を持つ 与えられたコストを用いて,min cut/max flowアルゴリズムによって画像のセグメンテーションを行う T Background terminal

局所特徴 Bag-of-Features(BoF) 言語処理におけるBag-of-Words(BoW)のアナロジー 文書を単語の集合と捉える(語順無視) 画像を局所特徴の集合と捉える(位置無視)

色特徴 Colorヒストグラム 画像を4×4のブロックに分割(図は2×2の場合) RGBをそれぞれ4つのbinに量子化し,64次元のヒストグラムで表現 4×4×64=1024次元の特徴ベクトル

形状特徴 HOG (Histograms of Oriented Gradients) SIFTと同様に局所輝度勾配を算出 一定領域に対して特徴量を記述 大まかな物体形状が表現可能

特徴量の重み付け TF-IDF TF(特徴量の頻出度)とIDF(逆頻出度)の2つの指標から,あるカテゴリを認識する上で識別的な特徴量に対して大きな重みを与える 特徴量の重要度 識別的度合 D:データ総数, d:HIがカテゴリc内の平均HI値θ以上の枚数

特徴量の重み付け 相互情報量 特徴量とカテゴリ間の共起関係を尺度として,あるカテゴリに共起度の高い特徴量に対して大きな重みを与える

特徴量の重み付け カイ二乗値 category !category feature !feature あるカテゴリにおいて,特徴量とカテゴリの関連性が強いほど,その特徴量に大きな重みを与える category !category feature !feature

提案システムの流れ Saliency MapをSEEDとして繰り返しGraph Cutsにより物体領域を抽出 限定された物体領域から特徴を抽出し,SVMによりスコアを算出 特徴重要度抽出法によって得られた各カテゴリの重みを加えてスコアを統合

実験 データセット Caltech101 カテゴリ数 101種類 学習データ 20枚×101カテゴリ テストデータ 10枚×101カテゴリ 特徴量 BoF, Color, HOG 識別方法 SVM Caltech101:http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html Fei-Fei et al. (2004)

実験結果 提案手法 特徴量 BoF+Color+HOG 重み - TF-IDF MI Chi セグメンテーションなし 49.1 53.3 認識率 [%] 提案手法 特徴量 BoF+Color+HOG 重み - TF-IDF MI Chi セグメンテーションなし 49.1 53.3 52.8 51.5 Saliency + GC 51.3 58.1 57.8 56.6

まとめ 複数特徴量を用いて,各カテゴリごとに識別的な特徴に重みを付けて 統合する手法を提案した 重み付け統合することで線形的に統合した場合よりも認識精度が向上 した 背景の影響を防ぐため,Saliency + GCにより物体領域を大まかに限定 することにより,より正確な重みが得られ,認識精度も向上した 今後は,使用する特徴量を増やし,他の重み学習法との比較を行って いく予定である

ご静聴ありがとうございました

以下質問用

Saliency Map + 繰り返しGraph Cuts 入力画像 Saliency Seed GC(1) GC(2) GC(3)

重みの大きかったカテゴリの例 各重み付け手法で,各特徴量の重みの割合が最も大きかったカテゴリ TF-IDF MI Chi BoF Joshua_tree Yin_yang Windsor_chair Color Strawberry Sunflower HOG Motorbikes Dragonfly

実験結果 重み付けの効果 提案手法 特徴量 BoF Color HOG BoF+Color+HOG 重み - TF-IDF MI Chi 認識率 [%] 提案手法 特徴量 BoF Color HOG BoF+Color+HOG 重み - TF-IDF MI Chi Normal 41.8 35.5 51.1 49.1 53.3 52.8 51.5 Saliency + GC 45.2 37.2 53.0 51.3 58.1 57.8 56.6

Caltech101 学習データ(chair20枚)