Pose Tracking from Natural Features on Mobile Phones

Slides:



Advertisements
Similar presentations
画像処理・実習 第十四回:パターン認識 東海大学 情報理工学部 情報メディア学科 濱本和彦. 今回の内容 5. パターン認識 5.1 マッチングの原理 5.2 テンプレートマッチング 実習 相互相関とテンプレートマッチング.
Advertisements

G ゼミ 2010/5/14 渡辺健人. パフォーマンスの測定 CUDA Visual Profiler CUDA の SDK に標準でついているパフォーマン ス測定用のツール 使い方: exe ファイルのパスと作業ディレクトリ指定して実 行するだけ 注意点 : GPU のコード実行後にプログラム終了前に,
地図の重ね合わせに伴う 位相関係の矛盾訂正手法 萬上 裕 † 阿部光敏* 高倉弘喜 † 上林彌彦 ‡ 京都大学工学研究科 † 京都大学工学部 * 京都大学情報学研究科 ‡
生体情報を利用したオンライン認証システムに関する研 究 情報工学科 大山・山口・小尾研究室 学士課程4年田中 丈登.
自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる.
Ruth Onn, Alfred Bruckstein (Int J Comp Vision 1990)
BRIEF: Binary Robust Independent Elementary Features
画像処理学習用RTコンポーネントライブラリ 田窪 朋仁,大原 賢一,吉岡 健伸(大阪大学)
区間グラフにおける区間表現からMPQ-treeを効率よく構成するアルゴリズム
コンピュータビジョン特論 第8回対象追跡 2006年11月22日 加藤丈和.
Building text features for object image classification
高精度画像マッチングを用いた SAR衛星画像からの地表変位推定
HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
静止背景における動物体の検出と追跡 陳 謙 2004年10月19日.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
リアルタイム単語認識技術を利用した カメラベース情報取得システム
イラストの著作権保護のためのHOG特徴量を用いた複製検出
スペクトル法による数値計算の原理 -一次元線形・非線形移流問題の場合-
Nonrigid Structure from Motion in Trajectory Space
P,Q比が変更可能なScaLAPACKの コスト見積もり関数の開発
多数の遊休PC上での 分散ゲーム木探索 導入 ゲーム木探索 ⇒遊休PCを利用して高速化 例)コンピュータ将棋における次手の計算
ORB: an efficient alternative to SIFT or SURF
TextonBoost:Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation 伊原有仁.
異種センサを用いた人の行動検知 研究概要 研究の独自性 isi担当 高汐グループ成果 スライド到着待ち yasu担当.
OpenCV を使った画像処理コンポーネントの作成例 田窪 朋仁(大阪大学)
SURF: Speeded Up Robust Features
DARTs: Efficient scale-space extraction of DAISY keypoints
CV輪講 姿勢変化に対応したSoft Decision Featureと Online Real Boostingによる人物追跡
高山建志 五十嵐健夫 テクスチャ合成の新たな応用と展開 k 情報処理 vol.53 No.6 June 2012 pp
画像情報を用いた交通流計測 情報工学科 藤吉研究室 EP02076 都築勇司
階層的境界ボリュームを用いた 陰関数曲面の高速なレイトレーシング法
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第三回 演習課題 画像中からの物体抽出処理(色情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/08.
ティコ第2星表を用いた限界等級の測定 目的 内容 宇宙粒子研究室 竹川涼太
データ構造と アルゴリズム 第十一回 理工学部 情報システム工学科 新田直也.
複数尤度を用いた 3次元パーティクルフィルタによる選手の追跡 IS1-39
内視鏡画像からの奥行き情報提示による 視覚支援システムの開発
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
大域的特徴としてBoFを導入した CRFによる一般物体認識
視点移動カメラにおけるカメラキャリブレーション
第11回   ディジタル画像(2) ディジタル画像処理(2)
人間の教示動作の視覚処理に基づく物体機能の抽出
位相カメラの進捗状況 京都大学修士1回 横山 洋海.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第二回 演習課題
高度情報演習1C 実践 画像処理プログラミング 第二回 演習課題
雑音環境下における 非負値行列因子分解を用いた声質変換
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 第六回 最終課題 画像処理による動物体自動抽出、モーションキャプチャ
東京農業大学 東京情報大学 附属第一高等学校・中等部 附属第二高等学校 附属第三高等学校・中等部
連続領域におけるファジィ制約充足問題の 反復改善アルゴリズムによる解法 Solving by heuristic repair Algorithm of the Fuzzy Constraint Satisfaction Problems with Continuous Domains 北海道大学.
ファジィ制約充足問題への 連続領域の導入 Introducing continuous domains to
複数特徴量の重み付け統合による一般物体認識
階層的境界ボリュームを用いた 陰関数曲面の高速なレイトレーシング法
SURF+BoFによる特定物体認識 卒業研究1 1 11/27/11.
物体検出による視覚補助システム T215085 若松大仁 白井研究室.
1-3 UMLの図(ダイアグラム) コンポーネント図 システムの物理的な構成を表現 ソフトウェアコンポーネントの依存性を表現
Number of random matrices
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
画像処理工学 2011年12月1日 担当教員 北川 輝彦.
距離空間ピラミッドを用いた LLCによる3次元物体認識
8方向補間ブロックマッチングの実装 福永研究室 数理科学コース 学部4年 能城 真幸.
モデル作成にクラスタリングを用いた視線認識
時間連続性を考慮した 動画からの人物の姿勢推定
ビデオデータベースを用いた 流体画像に基づくアニメーション生成
自己縮小画像と混合ガウス分布モデルを用いた超解像
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
ランダムプロジェクションを用いた音響モデルの線形変換
Presentation transcript:

Pose Tracking from Natural Features on Mobile Phones 西村 孝

はじめに リアルタイムでテンプレートとの対応点マッチング Pose Tracking from Natural Features on Mobile Phones,ISMAR2008 Fast Keypoint Recognition using Random Ferns,PAMI 2009 Fast Keypoint Recognition in Ten Lines of Code,CVPR 2007 Keypoint Recognition using Randomized Trees, PAMI 2006

手法の流れ

特徴点検出 DoG処理は削除 →メモリ資源を使いCPUにかかるコストを削減 FAST corner detectorに置き換え 異なるスケールすべてから特徴量算出 →スケール変化の不変性を得る →メモリ資源を使いCPUにかかるコストを削減

FAST corner detector(1/2) p:コーナ候補点 コーナ点:Ipの輝度より円上のすべてのピクセルの輝度は明るいか暗い 高速化のため円上の4方位のピクセルのみを比較(1,5,9,13)

FAST corner detector (2/2) x:円上のピクセル座標(1~16) d,s,b:状態 暗い 差がない 明るい

トラッキング アウトライア判定に通過した特徴点を用いる 良い特徴点:アウトライアに合格しマッチング成功 悪い特徴点:マッチング失敗,アウトライア判定に失敗 良い悪い特徴点の情報を次フレームに送る 有効な特徴点のみを処理 追跡範囲は前フレームの半径25ピクセル

記述子:特徴量 3x3領域から4つの勾配方向(36次元) 15ピクセルの領域から3x3の領域を作成 3×3のガウスで平滑化 →メモリ削減のため.精度は128次元より10%低下 15ピクセルの領域から3x3の領域を作成 1ブロック:5ピクセル 3×3のガウスで平滑化 →ノイズの影響を軽減 3×3の領域

記述子:オリエンテーション オリエンテーション算出はSIFTと同様 オリエンテーション方向にパッチを回転 回転したパッチに対して特徴量記述 3つ以上のピークが存在する場合はその特徴点を削除  →あらゆる方向のテスクチャが多い場所:物体の内側 オリエンテーション方向にパッチを回転 回転したパッチに対して特徴量記述 オリエンテーションの数だけ特徴量が存在

マッチング 全探索による対応点マッチング Spill Treeを利用 計算コストが高い モデル画像の特徴点をクラスタリング(クラス数は定義) 追跡対象に一番近いクラス内を探索 →探索範囲の削減

Constructing a Spill Tree [Preperata and Shamos 1985]

Constructing a Spill Tree 1. 2つのクラスに分ける

Constructing a Spill Tree 2.ベクトルの中間点と垂直な線(決定境界)を算出

Constructing a Spill Tree overlap buffer 3.オーバーラップ・バッファー中のノードは両方のクラスの特徴を多く含んでいる   オーバーラップ・バッファー中の追跡点は削除

アウトライア オリエンテーションを利用 追跡点は常に同じオリエンテーションを持つ オーバーラップ・バッファー中の特徴点は削除 異なるオリエンテーションを持つ特徴点は削除 オーバーラップ・バッファー中の特徴点は削除

ターゲットデータ取得 モデル画像の特徴データベースの作成 イメージピラミッドの作成 各縮小画像に対してコーナ点算出 入力画像を  倍づつ縮小 各縮小画像に対してコーナ点算出   →連続した縮小画像に対して同位置のコーナ点を特徴点として決定 スケールの範囲は定義 すべてのスケールで特徴量算出 3つ以上のオリエンテーションが ある特徴点は削除 スケール 36次元

Ferns C:クラス Fi:ノードの特徴量

木の表現 深さが3なら1バイト

学習 学習画像 1枚の正面の画像をアフィン変換 各キーポイントにヒストグラム作成

マッチング

木の深さ ノードの数は6個を採用

評価実験 速度の比較 実験に用いる端末を下記に示す(4種類) 実験データ

PCを用いた結果 約15~20倍高速化

モバイル端末を用いた結果 15fps程度の実行速度を実現

おわりに Pose Tracking from Natural Features on Mobile Phonesの文献調査