Download presentation
Presentation is loading. Please wait.
1
神戸大学 システム情報学研究科 CS17 有木研究室 ○堀 貴博 滝口哲也 有木康雄
グラフ構造表現による一般物体認識 神戸大学 システム情報学研究科 CS17 有木研究室 ○堀 貴博 滝口哲也 有木康雄
2
人間の認知能力を計算機に実現させるための重要な研究分野
研究背景 一般物体認識とは、制約のない実世界シーンの画像に含まれる物体を計算機が一般的な名称で認識することを指す 人間の認知能力を計算機に実現させるための重要な研究分野 ロボットの視覚への応用 デジタル動画像の自動分類・検索 認識 Umbrella 認識 Cup 出力結果 入力画像
3
一般物体認識 従来研究 領域に基づく方法 画像を複数の領域に分割して、各領域の特徴量を抽出し、 局所パターンに基づく方法
一般物体認識 従来研究 領域に基づく方法 画像を複数の領域に分割して、各領域の特徴量を抽出し、 それらと物体の名称の対応付けを統計的に学習した確率 モデルで認識する。 局所パターンに基づく方法 画像から局所的な特徴領域(点)を抽出し、それらの集合に よって画像全体を特徴付け、照合・投票によって認識を行う。
4
一般物体認識 従来研究 局所パターンに基づく方法による物体認識 問題点 Bag of Features (BoF)
一般物体認識 従来研究 局所パターンに基づく方法による物体認識 Bag of Features (BoF) クラスタリングにより局所特徴量 (SIFT)の出現頻度ヒストグラムに変換 問題点 画像全体を対象とするため 位置情報や特徴点間の関係性 が失われる SIFT特徴点 スケール 128次元特徴量 (輝度値の勾配情報) ・・・・・・ Codebook Frequency ・・・・・・・
5
提案手法 画像のグラフ構造表現 統計的学習が容易なベクトル表現に変換 グラフはベクトルと異なり統計処理が困難
特徴点間の関係性、物体の構造を表現 グラフ編集距離を用いて 統計的学習が容易なベクトル表現に変換 グラフ化 グラフはベクトルと異なり統計処理が困難
6
提案手法の流れ SIFT SIFT グラフ-ベクトル変換 グラフ化 Training Graph 特徴抽出 Training Graph
グラフ編集距離 識別器 認識結果 トレーニング グラフから 選択する ・ ・ ・ Training Graph Prototype Graph Training Graph グラフ編集距離 学習画像 グラフ化 特徴抽出 SIFT Test Graph テスト画像 Input SIFT keypoints Graph Vector Classifier Output
7
提案手法の流れ SIFT SIFT グラフ化 グラフ化 グラフ-ベクトル変換 Training Graph 特徴抽出
グラフ編集距離 識別器 認識結果 トレーニング グラフから 選択する ・ ・ ・ Training Graph Prototype Graph Training Graph グラフ編集距離 学習画像 グラフ化 特徴抽出 SIFT Test Graph テスト画像 Input SIFT keypoints Graph Vector Classifier Output
8
グラフ構造表現 近接グラフ 擬似階層グラフ スケールの小さいノード、関係性の 薄い遠いノードとは接続しない
スケールの大きさでグラフを階層に分解 階層レベル1 階層レベル2 階層レベル3 階層レベル3 階層レベル1 階層レベル2
9
提案手法の流れ SIFT SIFT グラフ-ベクトル変換 グラフ化 Training Graph 特徴抽出 Training Graph
グラフ編集距離 識別器 認識結果 トレーニング グラフから 選択する ・ ・ ・ Training Graph Prototype Graph Training Graph グラフ編集距離 学習画像 グラフ化 特徴抽出 SIFT Test Graph テスト画像 Input SIFT keypoints Graph Vector Classifier Output
10
グラフマッチング GED グラフ編集距離(GED Graph Edit Distance)
1つのグラフを他のグラフに変換するのに必要である最小の編集数によって、2つのグラフの距離を定義 編集コスト ノードの挿入 : 1 エッジの挿入 : 2 ノードの削除 : エッジの削除 : 1 ノードの置換 : 1 エッジの置換 : GED
11
提案手法の流れ SIFT SIFT グラフ-ベクトル変換 グラフ化 Training Graph 特徴抽出 Training Graph
グラフ編集距離 識別器 認識結果 トレーニング グラフから 選択する ・ ・ ・ Training Graph Prototype Graph Training Graph グラフ編集距離 学習画像 グラフ化 特徴抽出 SIFT Test Graph テスト画像 Input SIFT keypoints Graph Vector Classifier Output
12
ベクトル空間へのグラフの埋め込み グラフ-ベクトル変換 入力画像 プロトタイプグラフ n個 グラフ抽出 グラフ編集距離 n次元ベクトル空間
・ ・ ・ ・ グラフ抽出 グラフ編集距離 によるベクトル化 n次元ベクトル空間 ベクトル空間 埋め込み
13
提案手法の流れ SIFT SIFT グラフ-ベクトル変換 グラフ化 Training Graph 特徴抽出 Training Graph
グラフ編集距離 識別器 認識結果 トレーニング グラフから 選択する ・ ・ ・ Training Graph Prototype Graph Training Graph グラフ編集距離 学習画像 グラフ化 特徴抽出 SIFT Test Graph テスト画像 Input SIFT keypoints Graph Vector Classifier Output
14
プロトタイプグラフの選択 合計 9 3 11 23 6 18 1 10 15 10 15 18 23 グラフ編集距離による画像の順位付け 1
4 23 上位をプロトタイプグラフとして選択 各クラスで代表的な形状を持つグラフを プロトタイプグラフとして選択できる
15
提案手法の流れ SIFT SIFT グラフ化 特徴抽出 Training Graph Training Graph
グラフ編集距離 識別器 認識結果 トレーニング グラフから 選択する ・ ・ ・ Training Graph Prototype Graph Training Graph グラフ編集距離 学習画像 グラフ化 特徴抽出 SIFT Test Graph テスト画像 Input SIFT keypoints Graph Vector Classifier Output
16
評価実験 1 Caltech-101 実験データ 識別器 実験内容 Caltech-101 データセット k-NN法 (k=10)
ランダム10クラス選択、841枚 各クラスで画像数が異なる 識別器 k-NN法 (k=10) SVM (Support Vector Machine) 線形カーネル(linear)と非線形カーネル(radial basis function (RBF))の2つのマルチクラスSVMを用いる 実験内容 3つの識別器について提案手法と従来手法(BoF)の認識率を比較する 各クラス30枚を学習画像、それ以外をテスト画像とする。 プロトタイプグラフはトレーニンググラフと同一とする(300次元ベクトル) Caltech-101 データセット
17
評価実験 1 実験結果 Caltech-101 Accuracy comparison
18
予備実験結果 Caltech-101 10クラスSVM(RBF)
19
評価実験 2 PASCAL 実験データ 識別器 実験内容 PASCAL VOC 2007 データセット
ランダム10クラス選択 画像中の物体領域を切り出し, 対象画像とする 学習画像4986 枚,テスト画像4863 枚 識別器 k-NN法 (k=100)、マルチクラスSVM (linear、RBF) 実験内容 3つの識別器について提案手法と従来手法(BoF)の認識率を比較する プロトタイプグラフは各クラス画像の上位から50 枚を選択(500次元) PASCAL VOC 2007 データセット
20
評価実験 2 実験結果 PASCAL Accuracy comparison
21
考察 (Caltech-101 各クラス) Leopards,Soccer ball,Stop sign,Unbrella の認識率が
BoF に比べて大幅に向上している 逆にAccordion,Dollar_bill,Sunflowerは少し低下している
22
考察 ( Caltech-101 Umbrella クラス)
認識率が向上した理由 認識が提案手法で成功し,従来手法で失敗した画像
23
考察 ( Caltech-101 ) 認識率が低下した理由 構造よりも模様的な要素が強い Accordionクラス
Dollar_billクラス 構造よりも模様的な要素が強い
24
まとめ・今後の課題 まとめ 今後の課題 画像をグラフ構造で表し、グラフからベクトル表現への変換を用いた一般物体認識を提案した
従来手法のBoFに比べて認識率が向上した 今後の課題 グラフ編集距離の計算時間の短縮 ⇒グラフ編集距離の計算アルゴリズムの改良 プロトタイプグラフの選択手法(現在は単純な順位付け) ⇒トレーニンググラフ内で画像の特徴を明確に表現できるもののみを選択 ⇒次元削減、計算時間の短縮につながる 複数物体の認識 グラフ編集距離に代わるグラフ間距離測定法
25
ご清聴ありがとうございました
26
予備実験結果2 Caltech-101 10クラスSVM(RBF)
27
認識が提案手法で成功し,従来手法で失敗した画像
29
数式 近接グラフのエッジ作成 疑似階層分解
30
実験結果2 提案手法 従来手法 (BoF) SVM(RBF) SVM(linear) k-NN 72.8 43.2 80.8 80.4
accordion 72.8 43.2 80.8 80.4 63.2 car_side 87.96 83.98 40.32 79.78 76.45 75.27 dalmatian 71.08 70.27 31.35 65.68 62.97 dollar_bill 82.73 83.64 55 85.45 82.27 75 leopards 95.06 91.12 81.59 77.59 73.47 47.88 soccer_ball 67.94 68.82 52.35 41.47 39.12 22.65 stop_sign 83.53 84.12 63.24 43.53 45.29 19.41 sunflower 62.55 62.36 28.91 65.64 64.55 43.45 unbrella 62.89 65.78 63.33 30 30.67 8.89 windsor_chair 78.08 76.15 70 75.38 73.08
31
SIFT (Scale-Invariant Feature Transform)
回転・スケール変化・照明変化に不変な局所特徴量 画像間の高精度な局所的マッチングが可能 使用例: AIBOビジョンシステム(SONY), イメージモザイキングetc… 1. 拡大・縮小に対しての不変性 Detection of extremum 2. 回転に対しての不変性 8 orientations
32
Bag of Features (BoF) K個の クラスタに分割 Input image Training images
・・・ K個の クラスタに分割 Input image Training images K-means SIFT descriptor SIFT descriptor Visual word Vector quantization Vector quantization ・・・・ Codebook Frequency Classifier ・・・ Frequency ・・・ ・・・ ・・・ Codebook Codebook Output
33
SVM (Support Vector Machine)
マージン最大化 線形カーネル ガウスカーネル カーネルは2つのデータの類似度を求める 類似度をとる空間が異なる
Similar presentations
© 2025 slidesplayer.net Inc.
All rights reserved.