ステレオカメラを用いた歩行者の行動解析.

Presentation on theme: "ステレオカメラを用いた歩行者の行動解析."— Presentation transcript:

1 ステレオカメラを用いた歩行者の行動解析

2 ステレオカメラを用いた歩行者の行動解析 歩行者の物理センシング ・複数人の3 次元空間的な移動検知 ・多人数の群れの人数計測
ステレオカメラシステム Point Grey Research Bumblebee2 歩行者の物理センシング ・複数人の3 次元空間的な移動検知 ・多人数の群れの人数計測 歩行者の行動解析システム 歩行者高次コンテクストのリアルタイム抽出 ・単純行動取得 ・異常行動の推定

3 プロジェクトのゴール 歩行者・群の異常行動をリアルタイム検知 歩行者行動の可視化 歩行者の異常行動例 群の異常行動例
倒れこむ、長時間うろつく 群の異常行動例 もみあう、一斉に逃げ出す 歩行者行動の可視化

4 既存研究との差分 ターゲット領域 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知
東京大学　 マルチセンサを用いた 群集の行動認識 産総研　人およびその動作の自動認識 歩行者単体 歩行者群 ミネソタ大学 Detection of Unusual Crowd Activity ATR: A social robot that anticipates… 異常行動の不検知 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知 2．高さ方向を考慮したコンテクストの取得（転ぶ、柵の乗り越えなど）

5 歩行者行動と群行動の定義 ※本研究では街中を想定した歩行者行動を対象とする ダンスやジェスチャーなどを対象としない d 群になる条件
歩行者個人の行動 群の行動 単純な歩行者個人の行動 　・歩行者個人の移動スピード、移動方向、 　　位置などから推定可能 　　（歩く、走る、止まる、うろつくなど） 時間変化を考慮した歩行者個人の行動 　・不審者：　長時間うろうろする 単純な群行動 　・歩行者間や複数歩行者の個人行動の　 　　集積から判断する 　　（同方向に歩く、全員が止まるなど） 時間変化考慮した群行動 　・群衆の逃走：　複数人が急に走り出す d 群になる条件 Vは歩行者密度 Mは定数 2人以上の歩行者の集まりを群とする ※本研究では街中を想定した歩行者行動を対象とする 　 ダンスやジェスチャーなどを対象としない

6 Pedestrian Trajectory
歩行者行動の多段推論機構 前段の処理 Pedestrian Trajectory Data 歩行者単純行動の認識 ･速度、方向（8方向に分類） ･歩く、走る、うろつくなど イベント検知 　・歩行者経路から外れた人の 　　検知 ･単純行動の変化（走り出すなど） Pedestrian Set　= ｛Ps0, Ps1, … PsN｝ Psi = <位置, 速度ベクトル, 人数> Primitive Activity Recognition Trajectory Matching Event Detection use these data 後段の処理 Psi = <位置, 速度ベクトル, 人数, Primitive Activity> 具体的な異常状態の推定 Concrete Abnormal Situation Estimation 多段推論の利点 対象を絞った詳細推定が可能 　・監視対象を設定可能 　・多人数が存在する環境でリアルタイムに動作

7 前段： 単純行動の認識とイベント検知 イベント検知 （例：歩行者経路から外れた歩行者） 歩行者経路の分類結果(3方向に分類）
前段：　単純行動の認識とイベント検知 単純行動の認識（歩く走るなど） イベント検知 （例：歩行者経路から外れた歩行者） 歩行速度と歩行タイプから学習済み SVMにより検知 DP-Matchingで歩行者経路から 外れた行動を検知 (50cmグリット) （k-meansにより歩行経路を事前学習） 監視対象として後段部に詳細推定をディスパッチする 歩行経路による歩行タイプ判別 (5x5 vector) 通りすぎる人 うろつく人 歩行者経路の分類結果(3方向に分類） 実験シーン（屋内実験（取得データ数100） 単純行動の検出精度 10frame/sec

8 後段： 詳細な異常行動推定 TDBNを利用する理由 1.歩行者・群の異常行動のモデリングに は時系列データを扱う必要がある
後段：　詳細な異常行動推定 TDBNを利用する理由 (時間長をモデル化可能なDBN) 1.歩行者・群の異常行動のモデリングに は時系列データを扱う必要がある 2.記述性の高いモデル記述形式 ・ベイジアンネットワークは視認性　の高いモデル ・単純なHMMよりも記述性が高い 転倒後起き上がってこないシーン t-1秒前 t秒 t+1秒後 t+10秒後 BNでは時系列状態をうまく表現できない DBNでは時間長を表現できない BNの限界 DBNにすると何ができて、何ができないのか TDBNにすると何ができるようになるのか HMMでは何が t-Δt秒前の 状態変数 t秒での t+Δt秒後の t+Δt２秒後の TDBNで表現できる歩行者コンテクストの例 1.長時間うろついている人物を不審人物とする 2.転んだ後、すぐに起き上がってこない人にのみ 　　助けを呼ぶ 時間変化および時間長を記述可能 長時間倒れこんだ人にのみアラート出すモデル

9 歩行者行動を可視化し、異常行動検知機構を実装した
まとめと今後の課題 歩行者行動を可視化し、異常行動検知機構を実装した 多段推論による監視対象の絞込み TDBNによる具体的な異常行動推定 キャンパス内での検証実験を行った 　(データ数200) 次年度の課題 多人数による実験、評価 屋外環境における実験、評価