高度情報演習1A “テーマC” 実践 画像処理プログラミング 第六回 最終課題 画像処理による動物体自動抽出、モーションキャプチャ 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/29
これまでの演習のおさらい 重心、位置計測 画像入力 画像入出力 画像データ参照,書き換え 前処理 空間フィルタ (平滑化、エッジ、モザイク etc) 特徴抽出 時系列画像処理 色情報、背景差分による物体抽出 ラベリング 計測・検出・分類 重心、位置計測
最終課題 動画像中からの動物体自動抽出と追跡 〜モーションキャプチャの実現〜 動画像中から動物体を抽出、その重心位置を各フレームで求め、奇跡を算出する 実験用動画像を数種類用意 動物体1つ、複数、マーカー有り、無し 人物抽出、追跡(1人、2人、交差あり、無し、複雑背景) → New!! これまでやってきた技術、その他新たに調べた技術などを導入し、課題に挑戦!
実験用動画像1 背景画像あり 動物体1個 (円形マーカ無し) 動物体1個 (円形マーカ有り) haikei1.zip sample1-1.zip sample1-2.zip
実験用動画像2 背景画像あり 動物体2個 (円形マーカ無し) 動物体2個 (円形マーカ有り) haikei1.zip sample2-1.zip sample2-2.zip
実験用動画像3(New!) Sample3-1.zip Sample3-2.zip Sample3-3.zip 複雑背景、歩行者一人 複雑背景、歩行者二人 二人が画面中央で交差、遮蔽あり Sample3-3.zip 二人が画面中央で交差、遮蔽なし
最終課題 Sample1-1, 1-2, 2-1, 2-2, 3-1, 3-2, 3-3の動画像セットのうち、1つを選択 選択した動画中の動物体を抽出、その重心座標を求める。 (色抽出、背景差分法、自分で調べた手法などを駆使) 最終結果として、以下のように動物体の重心位置と軌跡を1つの画像上にプロットせよ。 ※動物体2個の場合には それぞれ色を変えて区別!
最終課題の提出について(1) 最終レポートを以下の内容を含むように作成、提出。 表紙に、学籍番号、氏名 選んだ動画像セットの種類(もちろん、複数可) 考えた戦略(手法)を処理のフローチャートとともに記述し、説明 実験結果 上記フローチャートの各処理過程における結果画像を示す。 前ページ下を参考に、動物体の軌跡の画像を生成し、示す。 考察 結果に関する考察(うまくいった原因、失敗した原因に関する考察など) 今回の課題を取り組むに当たって、工夫した点、苦労した点など 参考文献 参考にした文献、ホームページのURLなど 参考資料 今回作成したプログラムのソースファイルをレポートの最後に添付すること。(できる限り分かりやすく、コメントをつけること)
最終課題の提出について(2) レポートの仕様 提出方法・期限 用紙サイズ:A4 枚数制限:特になし 提出期限:7月26日(水) 13:00迄 提出期限:7月26日(水) 13:00迄 提出先:研究棟14階K-32 青木研 ※最終課題の提出の無い場合、履修放棄と見なすため注意!
念のため復習 背景差分法
差分画像 連続する画像間で,対応する画素間の差分(の絶対値)を計算、その値の大小で動きのある画素かどうかを判定 移動物体検出,カット検出
(単純な)背景差分法 手順 あらかじめ背景画像を取得 各時刻における画像と背景画像の差分をとる 2値化 ノイズ除去 移動物体存在領域のみを抽出
単純背景差分法の適用例 背景の時間的変動,画素値のゆらぎに対する対応に課題