3次元パーティクルフィルタと EMD を用いた選手の追跡 神戸大学大学院 工学研究科情報知能学専攻 CS17 有木研究室 西濃　拓郎

自動映像生成技術 視点固定映像 状況認識 上面図生成 ～選手がシュート！！ 解説生成 映像生成

選手やボールを追跡して３次元位置情報を獲得し、ゴールやファウル、シュートといったイベントを検出する 研究目的 動画を解析して状況認識を行う 選手やボールを追跡して３次元位置情報を獲得し、ゴールやファウル、シュートといったイベントを検出する 解説は主にイベントを中心に行われている 物体の3次元位置情報を用いて イベントを検出する

システムの概要図 × × × 入力動画 T=T+1 SVMによる選手の検出 Particle Filter 状態遷移 尤度評価 リサンプリング 出力動画

３Ｄパーティクルフィルタ 状態量： ３次元ワールド座標空間に状態量をとることで、 奥行きを考慮したより現実に近いモデルでの追跡が可能

複数の特徴をベースとした尤度を組み合わせることによってオクルージョンに頑健な尤度とする 尤度評価 複数の特徴をベースとした尤度を組み合わせることによってオクルージョンに頑健な尤度とする ① ② ③ ①検出結果ベースの尤度 ②ヒストグラム特徴ベースの尤度 ③相関値ベースの尤度

S 尤度評価 ①検出結果ベースの尤度 手法：SVM Step1.Matching Matrix を計算する Detection ①検出結果ベースの尤度 手法：SVM Step1.Matching Matrix を計算する Step2.各trackerと最もマッチする検出結果det*を決定する Step3.尤度を計算する Matching Matrix S Tracker SVMスコア

尤度評価 ②ヒストグラム間距離ベースの尤度 手法：EMD ③相関値ベースの尤度 手法：正規化相互相関値 ・オクルージョン時に有用 ・距離をガウス分布に入れて尤度とする ③相関値ベースの尤度 手法：正規化相互相関値

需要地の需要を満たすように供給地から需要地へ輸送を行う場合の最小輸送コストを解く問題 EMD Earth Mover’s Distance (EMD) [1] 線形計画問題の一つである輸送問題の解に基づいて計算される距離尺度 オクルージョンに強い特徴量として注目されている[2], [3] 定義 「２つの離散分布において、一方の分布を他方の分布に変換するための最小コスト」 需要地の需要を満たすように供給地から需要地へ輸送を行う場合の最小輸送コストを解く問題 [1]Y. Rubner, C. Tomasi, and L. Guibas,“The earth mover’s distance as a metric for image retrieval”, IJCV2000. [2]A. Adam, E. Rivlin, and H. Shimshoni,”Robust Fragments-based Tracking using the Integral Histogram”, CVPR2006. [3]Q, Zhao, S. Brennan, H. Tao,”Differential EMD Tracking”, ICCV2007. 2009/12/24　IEICE 中間報告

EMDの実装 EMD H-S空間2次元ヒストグラム 供給量 供給地集合 特徴ベクトル 需要量 需要地集合 輸送量 ： 2009/12/1　研究室内発表会

実験条件 視点固定サッカー映像 Particle Filter 評価方法 パーティクル数：200 画像サイズ 1280×720 [pixel] Frame rate 30 [fps] 映像 平均330 [frame] ×12 総追跡人数 221人

実験結果 Accuracy(%) × NCC 70.30 Bhattacharyya 72.41 EMD 73.64 ○ 75.52 ・検出結果を尤度として用いることで精度が向上

まとめと今後の予定 まとめ 今後の予定 EMDを用いることでオクルージョンに頑健な追跡が可能となった 検出結果を尤度としてパーティクルフィルタの枠組みに取り入れることで精度が向上した 今後の予定 イベントの検出 選手とボールの3次元位置情報 オフサイドの検出

ご清聴ありがとうございました

3D Particle Filter × × × State: N Transition Likelihood Resampling I will explain about 3D particle filter algorithm at first. It discretely approximate probability distribution by a lot of particles with state and likelihood and disperse the probabilistic model, so it can track robustly. In our system, state is the 9 dimensional vector. “p”, “v” and “a” respectively denote a position, a velocity and an acceleration. The figure shows a flow of particle filter. At first, in a “t” frame, there are N particles and posterior probability distribution is denoted as p(x_t-1|Z_t-1). Next, by transition density p(x_t|x_t-1), prior probability distribution p(x_t|Z_t-1) is calculated. Furthermore, the particles is weighted by likelihood p(z_t|x_t), and resampling. Finally, the particles with high likelihood multiply and the particle with low likelihood is dead. The method that repeat this process every frame is particle filter. 15

Bhattacharyya距離 Bhattacharyya距離 ⇒ヒストグラムを用いることで、姿勢の変化にも頑健な尤度評価が可能 　⇒ヒストグラムを用いることで、姿勢の変化にも頑健な尤度評価が可能 RGB空間1次元ヒストグラム

・・・・・ 供給地 需要地

制約条件 供給地から需要地の一方向にしか輸送されない 供給地 から供給できる容量は供給量 を超過しない 供給地 から供給できる容量は供給量 を超過しない 需要地 が受け取れる容量は需要量 以下であること 供給地から移動する輸送量（総フロー）

ヒストグラム間距離計算（ユークリッド距離） 1 1 ＞ コスト4 コスト2 ユークリッド距離で右図と左図で画像のヒストグラム間の距離を計算する際、対応する色のビンの値がそのままコストに影響するため、それぞれコスト４とコスト２となる。 この結果より右図の画像同士がよく似ていると判断されてしまう。

＜ ヒストグラム間距離（EMD） コスト5 コスト2 5 1 1

Integral Histogram とは Fatih Porikli, “Integral Histogram: A Fast Way to Extract Histogram in Cartesian Space”, In Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), 2005. 複数の領域のヒストグラムを高速に計算するために考案された手法 Integral Image (Cumulative Image) とよく似た考え方

Integral Image (1/2) 元画像の画素値 ある画像について特定領域内の画素値をあらかじめ計算しておくといった中間的表現を用いることによって、各矩形領域を高速に計算する手法 ＜定義＞ 以下の再帰関数を利用 ただし s(x, y) は累積的な列の和で 元画像の画素値

Integral Image (2/2) Integral Image は元画像を一度捜査することで計算される 　　点1の Integral Image の値は領域Aに含まれる画素値の和である。同様に点2はA+B、点3はA+C、点4はA+B+C+D。したがって領域Dに含まれる画素値の和は(4+1) - (2+3)で計算できる。 OpenCV の “cvIntegral” で実装されている

Integral Histogram 座標(x1,x2)におけるIntegral Histogram 座標(x1,x2)のヒストグラム b:ビン数 座標(x1,x2)のヒストグラム

従来の尤度評価方法 正規化相互相関値 画素レベルで比較しているため、同じ人物でも少し姿勢が崩れれば相関値が大きく下がってしまう