ORB: an efficient alternative to SIFT or SURF 三品 陽平 色の類似特徴に基づいた形状特徴による人検出 と題しまして 中部大学の後藤雄飛が発表します． 2011.12.20

論文紹介 ORB: an efficient alternative to SIFT or SURF [ICCV2011] FAST に回転不変性を導入 BRIEFの改良 BRISKとオリエンテーションの推定法と 輝度差を求める2点の選択方法が異なる 著者 Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gray Bradski Willow Garage

キーポイント検出と特徴量記述の変遷 BRIEFの改良

キーポイント検出手法 SIFT(DoG)[ICCV1999] SURF[ECCV2006] FAST[ECCV2006] 決定木を利用したコーナー判定によるキーポイント検出 SIFT(DoG)[ICCV1999] DoG画像を利用した極値探索によるキーポイント検出 SURF[ECCV2006] 近似Hessian-Laplaceによるキーポイント検出 高速なキーポイント検出 高速化のためFASTの利用を想定(オリエンテーション算出)

Features from Accelerated Segment Test (FAST) コーナーのみをキーポイントの対象として検出 注目画素を中心とした円周上の画素を観測 決定木を用いたFASTによるコーナー検出 高速かつ省メモリなコーナー検出が可能 SIFT(DoG)と比較して約45倍高速 画像の複数スケールを入力し キーポイントのスケールを決定

オリエンテーション パッチ内の輝度値の重心位置と中心を結ぶ方向ベクトル : パッチ中心 : 輝度の重心

オリエンテーションの算出 モーメントの算出 重心座標の算出 x,y : パッチ内の座標

BRIEF 高速性 頑健性 記述高速化：バイナリ列の直接的生成 マッチング高速化：ハミング距離の利用 照明変化に対応 スケール不変性，回転不変性がない

特徴量記述 パッチ内の比較ピクセルを学習により選択 Greedy アルゴリズムを用いて選択 分散が大きく，ペア間の相関が低いバイナリコードを選択 Greedy アルゴリズムを用いて選択

Greedyアルゴリズムを用いた選択 前処理 繰り返し処理 PASCAL 2006から300,000のキーポイントを算出 31×31のパッチに5×5のサブウィンドウを設定 205590のテストペアを作成 全てのテストペアのテストを実行 バイナリの平均値が0.5に近い順にペアを ソートしベクトルTに代入 先頭のペアをベクトルRに代入 繰り返し処理 ベクトルTから1つ取り出しベクトルR内のペアと相関を比較 相関がしきい値以下ならベクトルRに追加，それ以外は破棄 ベクトルRが256個のペアを選択したら終了 探索しても256に満たない場合はしきい値を下げる

評価実験 回転不変性 rBRIEFが最も回転に対する頑健性が高い

評価実験 実環境下におけるマッチング 回転，スケール変化に対応

評価実験 識別の処理時間の比較 Intel i7 2.8GHz 搭載マシン 2686枚の画像から5つのスケールを算出 2000000点以上の特徴点を約42秒で処理が可能 ORBの各ステップの処理時間 1フレームの処理時間の比較 SIFTと比べ約340倍高速に処理が可能

物体認識と姿勢推定 対応点マッチングによる 物体認識 物体の姿勢も推定可能

まとめ FASTにオリエンテーション算出アルゴリズムを導入 BRIEFに回転不変性の導入 高速且つロバストなマッチングが可能 学習による比較ピクセルの選択 高速且つロバストなマッチングが可能

FASTによるコーナー検出 注目画素 p の周辺の円周上の16画素を観測 p がコーナーである条件 例 : n = 12 p がコーナーである条件 p の輝度値と比較して円周上の輝度値が連続してn 個以上が しきい値 t 以上 明るい，もしくは暗い (図中の破線)

FASTによるコーナー検出 コーナー検出の高速化 p がコーナーである条件 p の輝度値と比較して円周上の輝度値が連続してn 個以上が 上下左右の円周上の画素(1,5,9,13)のうち，3つの輝度値が しきい値 t 以上 明るい，もしくは暗い　 条件を満たす場合のみ円周上の16画素を観測

FASTによるコーナー検出の問題点 n <12のときには高速化が適応できない 上下左右の4画素を観測した早期打ち切りは最前の 方法とは限らない 非コーナーにおいても条件を満たす場合が多い 例 : n = 9 高速化の使用可能 高速化の使用不可能

決定を用いたFASTによるコーナー検出 学習画像の画素を特徴ベクトル化 注目画素 p 周囲の円周上の輝度値を3値化 円周上の輝度値 しきい値

決定を用いたFASTによるコーナー検出 決定木の構築 特徴ベクトルによる3分木の学習 学習画像 分岐ノード 特徴ベクトルによる分岐 末端ノード 最も到達したクラスを保存

決定を用いたFASTによるコーナー検出 分岐関数 3値化された特徴ベクトルにより3通りに分岐 情報利得が最大になる特徴(円上の画素)を使用 darker コーナーの数 非コーナーの数 情報利得が0になるまで分岐させる

n = 9 のとき，平均して2.16画素の検証でコーナー検出が可能 決定木によるコーナー検出 画像の各画素を入力してコーナー判定 リーフノードに保存されたクラスに分類 n = 9 のとき，平均して2.16画素の検証でコーナー検出が可能

コーナー点のスケールの検出 画像ピラミッド(複数スケール画像)を入力して　　スケールを検出

コーナー点のレスポンス値の算出 レスポンス値 V レスポンス値を用いて隣接するコーナー点の除去 注目画素より明るい 注目画素より暗い レスポンス値が最大のコーナーを採用 コーナーとして検出された画素

SIFTと比較して約606倍，SURFと比較して約48倍高速なキーポイント検出が可能 SIFT(DoG)，SURFとのキーポイント検出時間の比較 SIFTと比較して約606倍，SURFと比較して約48倍高速なキーポイント検出が可能

BRIEF アルゴリズム キーポイント パッチ パッチをガウシアンフィルタにより平滑化 パッチ内のランダムに選択された２点の画素値の比較から バイナリ列を生成 キーポイント パッチ

BRIEF バイナリテスト キーポイント パッチ

BRIEF バイナリテスト バイナリ列 :　バイナリ列の長さ

BRIEF バイナリ列の作成 キーポイント パッチ

BRIEF アルゴリズム アルゴリズムの不確定なパラメータ パッチをガウシアンフィルタにより平滑化 パッチ内のランダムに選択された２点の画素値の比較から バイナリ列を生成 アルゴリズムの不確定なパラメータ ノイズ除去のガウシアンフィルタの標準偏差 σ バイナリテスト τ(X,Y) の配置

BRIEF アルゴリズム 先行研究 パッチをガウシアンフィルタにより平滑化 パッチ内のランダムに選択された２点の画素値の比較から バイナリ列を生成 先行研究 パッチ内の２点の輝度値の比較によってキーポイントを認識

バイナリテストの空間的配置 x, y : 一様分布 x, y : ガウシアン分布 x : ガウシアン分布, 　y : ガウシアン分布（xiが中心） x, y : 同心円状のグリッドからランダムに選択 x : 中心点 y : 同心円状のグリッドからバイナリテストの数だけ選択 GⅠ GⅡ GⅢ GⅣ GⅤ