自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹
2 １．はじめに 研究背景 近年の放送技術の発達 チャンネル数の増加によるコンテンツの増大 コスト問題の発生（管理、編集等） 映像自動生成技術への要望
3 １．はじめに 研究背景 映像自動生成技術 ディジタルカメラワークを用いたスポーツ映像の自動撮影 [PRMU2005: 有木、窪田 ] 自動で行うためには、ボールの情報が不可欠 ボールの高い検出、追跡技術が必要！ 本稿では、サッカーの試合のボールの追跡について考える 従来の映像今回の映像 ・複数カメ ラ ・視点移動 ・単一 ・視点固定
4 ２．正規化相互相関法 代表的な物体追跡手法 テンプレートマッチングによる追跡 ・探索領域内Ｉ (x,y) に対してテンプレート画像 T(i,j) との相関値を求め る ・相関値の最も高い領域が対象物体領域 以下の式によって相関値を求める
5 ２．正規化相互相関法 ● 評価法 ・元画像、テンプレート画像を色空間 R, G, B の色画像に 分解 ・それぞれに対して正規化相互相関法を適用 ・各色画像における評価値の積を結果の値 V とする V = R×G×B ( V ≦ 1 ) ● テンプレートマッチングによる全画面探索の欠 点 ・ノイズ、オクルージョンが多い場合 ・テンプレートの特徴が乏しい場合 特にサッカーボールの追跡にはこれらの問題点が多い
6 ３．パーティクルフィルタ パーティクルフィルタの特色 粒子（ particle ）：状態量と尤度を持つ 多数の粒子によって確率分布を離散的に近似 [1998:Isard,Blake] 非線形な動きに対しても有効 確率を用いるので一時的なオクルージョンにも強い パーティクルフィルタによる 単眼動画像からのサッカーボール 3 次元軌道推定 [FIT2006: 三須, 高橋 ]
7 ３．パーティクルフィルタ パーティクルフィルタのアルゴリズム １．画面内に予測に基づく粒子が与えられる ２．各粒子の尤度を求める ３．尤度に応じて各粒子を処理する a. 尤度の低い粒子 : 破棄してリサンプリング b. 尤度の高い粒子 : 状態遷移 ４. 次のフレームの処理に移り、１に戻る 粒子の分布の様子
8 ３．パーティクルフィルタ 粒子の誤認識を減らすために、背景か動物体かの識別が必 要 ボール識別のアルゴリズム １．粒子の座標を中心として元画像から画像を切り出す ２．粒子の座標を中心として背景画像から画像を切り出す ３．原画像と背景画像の切り出し画像の差分を取る ４．差分結果を二値化 5 ．その結果、白くなった領域が動物体 ・中心（粒子）の座標が白⇒尤度を評価 ・中心（粒子）の座標が黒⇒尤度を０にする 原画像 → 背景画像 → 差分後、二値化 背景画像： あらかじめ一定時間ごとに連続するフレームを平均してもとめて おく
9 ４．実験と考察 サッカーの試合の映像 1280×720 画素、２４ビット、カラー映像 時間： 750 フレーム ※初期座標は手動で与えた 追跡例 例１ 従来手法（正規化相互相関法） 例２ 提案手法
10 ４．実験と考察 手法 失敗回数／ 100 フレー ム 正規化相互相関法 （従来手法） パーティクルフィ ルタ （提案手法） 0.26 追跡の軌跡図 従来手法： ライン、ポール、選手への誤認識 提案手法： 探索範囲の絞り込み、動物体のみの検出
11 ５．おわりに 従来法と比較して有効性を確認 精度向上のための今後の課題 ・特徴量、尤度判定法の検討 ・パラメータの調節 ・追跡失敗例追跡失敗例
12 補足 各種パラーメターについて 粒子数：５０ 切り取り領域について：一辺 30 ピクセルの正方領域 リサンプリング判定の閾値： 0.3 二値化の閾値：（黒０、白２５５として） 100 テンプレート： 15×15 ピクセル
13 補足 粒子の処理について １．粒子の座標を中心として、元画像を適当な大きさで切り取る ２．切り取った画像の中でテンプレートマッチングを行う ３．粒子の座標をテンプレートマッチングの結果の座標に更新する ４．テンプレートマッチングの結果が動物体かどうかを識別する ５．識別の結果に応じて粒子の尤度を更新する
14 補足 その他の処理について ・基準粒子の尤度が閾値に満たない場合はボールの位置を 更新しない ・粒子はフィールド外へ配置しないように処理している