コンピュータビジョン特論 第８回対象追跡 ２００６年１１月２２日 加藤丈和

対象追跡とは（検出と追跡） 検出：一枚の画像から指定した条件をみたす画像領域を抜き出す処理 追跡：動画像から指定した領域を抜き出し、フレーム間で対応づける処理 追跡の分類 対象の表現（モデル）による分類 類似性尺度による分類 探索方法による分類

色ヒストグラムによる追跡 Mean Shift法 対象領域内のヒストグラムを計算 対象モデル u番目の色の割合 モデルヒストグラム 入力ヒストグラム ポジション

色ヒストグラムによる追跡 Mean Shift法 類似度

ヒストグラムによる追跡 Mean Shift法 重み付きヒストグラム u番目のbinの値 領域の中心を重視 変形に強い カーネル関数 ｋ（ｄ） ｄ

Mean Shift 入力画像のヒストグラムも同様に定義 xi y h hはスケール

Mean Shift バタッチャリア係数をテイラー展開（１次の項まで） 前のフレームの位置 重み付きヒストグラムの式を第二項に代入 定数

Mean Shift 第二項を最大化→微分＝０より カーネル関数の微分

Mean Shift ヒストグラムの比 特に とすると １ 微分が定数 ヒストグラムの比 ヒストグラムの比を重みとして、領域内の重心を求める

まとめ モデルの表現と類似性尺度 勾配法に基づく探索 見えに基づく追跡 色ヒストグラムによる追跡 →Lucas Kanade法 →Mean Shift法

運動予測に基づく追跡 パーティクルフィルタとその実装

勾配に基づく追跡の問題点 対象の動きに関する知識を利用しない 初期値（前フレームの結果）が十分解に近い必要がある 類似度が解周辺でなめらか（微分可能）である必要がある ノイズの影響を受けやすい 類似度 状態

動きと観測のモデル 推定→ 状態ベクトル（時刻tの対象の状態、観測できない） 観測ベクトル（実際に観測される値） システムモデル 観測モデル 観測できる 観測モデル 観測できない システムモデル 観測ベクトルから観測できない状態ベクトルを推定

状態の推定 観測できる 観測モデル 観測できない システムモデル の期待値 事後確率 という観測が得られたときに という観測が得られたときに　　 　が何であったかを推定する問題 ただし　はマルコフ性を満たす の期待値 事後確率

線形システムの状態推定 Kalman filter システムプロセス、観測プロセスが線形 ガウシアン分布 正規分布 の共分散 の共分散 ガウシアン分布

線形システムの状態推定 Kalman filter 線形システム、ガウシアン分布no場合 線形解が求まる（導出は省略） Kalman filter 推定量 予測 一つ前の推定量 期待値 xの共分散 カルマンゲイン

Kalman filter を用いた追跡の例 α-β（-γ）tracker P.R. Kalata 1986 慣性を持つ剛体の運動予測のモデル 運動方程式 位置 速度 位置が観測 加速度 画像上の対象追跡では2次元に拡張

Kalman filterを用いた追跡の例 複数ターゲットの追跡　ICIS２００３　W. Niuら 背景差分 ノイズ t-1 予測 t 推定値（ろ波） 近いほうを観測値にする

Kalman filterを用いた追跡の例 アフィン変換による変形を含む追跡 ICCV98(Jebara, Russel and Pentland)など 対象表現：特徴点集合、アフィン行列 剛体の3次元位置、姿勢の追跡 VISP97（Jung and Wohn)など 対象表現：特徴点集合、3次元位置、姿勢 予測を使って、テンプレートの探索範囲を限定 ISIE03（G. CAOら）など 対象表現：テンプレート、位置、速度

Kalman filter の利点と欠点 利点 欠点 ＣＶ分野では限定的な利用 線形解が与えられる（計算コスト小） 次のフレームの予測ができる 観測ノイズ、システムノイズを吸収できる 欠点 強い制約条件 システムプロセス、観測プロセスが線形 ガウシアン分布 適用範囲が限られる ＣＶ分野では限定的な利用 検出結果のフレーム間対応付け ノイズの吸収、スムージング 探索範囲の限定

Particle Filter システムプロセス、観測プロセスを非線形に拡張 Kalman filter のような制約がない 非ガウシアンの分布を表現 ランダムサンプリングによる仮説の生成と、各仮説の尤度推定によって、事後分布を推定(モンテカルロ近似) Monte Carlo Filter(北川ら、1995), Bootstrap Filter(Gordon,1996), ConDensation(Isardら、1998) とも呼ばれるが基本的に同じ その後 Particle Filter(粒子フィルタ)という呼び名に落ち着く ただし、ＣＶ分野ではConDensationと呼ばれることも多い

動きと観測のモデル システムモデル 観測モデル 観測できる 観測モデル 観測できない システムモデル の期待値 事後確率 が既知で観測 が与えられたとき を推定 事後確率

Particle Filter 観測できる 観測モデル 観測できない システムモデル 事後確率 ベイズの定理より ベイズの定理

Particle Filter の枠組み 事後分布の推定＝システムモデルによって予測しながら、 フレームごとに尤度を求める 事後確率 尤度 観測モデル 事前確率 （前フレーム からの予測） 前フレームの 　　事後確率 状態遷移確率 システムモデル 事後分布の推定＝システムモデルによって予測しながら、　　　　　　　　　　　　フレームごとに尤度を求める ただし、状態空間全体を推定することはできない。 →ランダムサンプリングにより近似

Particle Filter の枠組み これを連続な状態空間全体で求めるのは非現実的 を用いて離散近似 サンプル集合 ディラックデルタ関数 N→∞で一致する

Particle Filter どうやって を に従って発生させるか 消滅 消滅 消滅 消滅 ①Fに従って変化させる ②尤度＝重みを計算 ③重みの比に従って選択 消滅 消滅 消滅 消滅

Particle Filter 事後分布 を事前分布 に従って生成したサンプル と各サンプルの尤度 の組で表現 の比に従って選択 The Condensation Algorithm home page (Bob Fisher)より に従って更新 尤度 を計算 サンプルコードが公開されている

Particle filterを用いた追跡の例 ConDensation 　（IJCV98　M. Isard and A. Blake） 対象表現：輪郭モデル 類似度(尤度）：エッジと輪郭の距離 照明変化、色の変化に強い 裾野が広く、滑らかな尤度分布 スプラインモデル 楕円モデル ２Ｍ次元 5次元 θ α (x,y) β

Particle filterを用いた追跡の例 輪郭からエッジ点までの距離 The Condensation algorithm home pageより

Monte Carlo Filterを用いた追跡の利点と欠点 システムプロセス、観測プロセスが任意 あるサンプルに対する尤度が定義できれば基本的になんでもいい 非ガウシアン分布を表現可能 多重仮説 尤度分布が局所的に滑らかでなくてもいい 欠点 状態ベクトルが高次元になると計算量が増加 多数のサンプリングが必要 複数ターゲットへの拡張が難しい 尤度分布の裾野が狭いと不安定になる 尤度 状態 尤度 状態

まとめ 動き予測に基づく探索 線形システム→カルマンフィルタ 非線形に拡張→Particle Filter 過去のフレームから次の位置を予測 線形に解がもとまる 制限が大きい 非線形に拡張→Particle Filter ランダムサンプリングによる推定