ステレオカメラを用いた歩行者の行動解析

ステレオカメラを用いた歩行者の行動解析 歩行者の物理センシング ・複数人の3 次元空間的な移動検知 ・多人数の群れの人数計測 ステレオカメラシステム Point Grey Research Bumblebee2 歩行者の物理センシング ・複数人の3 次元空間的な移動検知 ・多人数の群れの人数計測 歩行者の行動解析システム 歩行者高次コンテクストのリアルタイム抽出 ・単純行動取得 ・異常行動の推定

プロジェクトのゴール 歩行者・群の異常行動をリアルタイム検知 歩行者行動の可視化 歩行者の異常行動例 群の異常行動例 倒れこむ、長時間うろつく 群の異常行動例 もみあう、一斉に逃げ出す 歩行者行動の可視化

既存研究との差分 ターゲット領域 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知 東京大学　 マルチセンサを用いた 群集の行動認識 産総研　人およびその動作の自動認識 歩行者単体 歩行者群 ミネソタ大学 Detection of Unusual Crowd Activity ATR: A social robot that anticipates… 異常行動の不検知 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知 2．高さ方向を考慮したコンテクストの取得（転ぶ、柵の乗り越えなど）

歩行者行動と群行動の定義 ※本研究では街中を想定した歩行者行動を対象とする ダンスやジェスチャーなどを対象としない d 群になる条件 歩行者個人の行動 群の行動 単純な歩行者個人の行動 　・歩行者個人の移動スピード、移動方向、 　　位置などから推定可能 　　（歩く、走る、止まる、うろつくなど） 時間変化を考慮した歩行者個人の行動 　・不審者：　長時間うろうろする 単純な群行動 　・歩行者間や複数歩行者の個人行動の　 　　集積から判断する 　　（同方向に歩く、全員が止まるなど） 時間変化考慮した群行動 　・群衆の逃走：　複数人が急に走り出す d 群になる条件 Vは歩行者密度 Mは定数 2人以上の歩行者の集まりを群とする ※本研究では街中を想定した歩行者行動を対象とする 　 ダンスやジェスチャーなどを対象としない

Pedestrian Trajectory 歩行者行動の多段推論機構 前段の処理 Pedestrian Trajectory Data 歩行者単純行動の認識 ･速度、方向（8方向に分類） ･歩く、走る、うろつくなど イベント検知 　・歩行者経路から外れた人の 　　検知 ･単純行動の変化（走り出すなど） Pedestrian Set　= ｛Ps0, Ps1, … PsN｝ Psi = <位置, 速度ベクトル, 人数> Primitive Activity Recognition Trajectory Matching Event Detection use these data 後段の処理 Psi = <位置, 速度ベクトル, 人数, Primitive Activity> 具体的な異常状態の推定 Concrete Abnormal Situation Estimation 多段推論の利点 対象を絞った詳細推定が可能 　・監視対象を設定可能 　・多人数が存在する環境でリアルタイムに動作

前段： 単純行動の認識とイベント検知 イベント検知 （例：歩行者経路から外れた歩行者） 歩行者経路の分類結果(3方向に分類） 前段：　単純行動の認識とイベント検知 単純行動の認識（歩く走るなど） イベント検知 （例：歩行者経路から外れた歩行者） 歩行速度と歩行タイプから学習済み SVMにより検知 DP-Matchingで歩行者経路から 外れた行動を検知 (50cmグリット) （k-meansにより歩行経路を事前学習） 監視対象として後段部に詳細推定をディスパッチする 歩行経路による歩行タイプ判別 (5x5 vector) 通りすぎる人 うろつく人 歩行者経路の分類結果(3方向に分類） 実験シーン（屋内実験（取得データ数100） 単純行動の検出精度 10frame/sec

後段： 詳細な異常行動推定 TDBNを利用する理由 1.歩行者・群の異常行動のモデリングに は時系列データを扱う必要がある 後段：　詳細な異常行動推定 TDBNを利用する理由 (時間長をモデル化可能なDBN) 1.歩行者・群の異常行動のモデリングに は時系列データを扱う必要がある 2.記述性の高いモデル記述形式 ・ベイジアンネットワークは視認性　の高いモデル ・単純なHMMよりも記述性が高い 転倒後起き上がってこないシーン t-1秒前 t秒 t+1秒後 t+10秒後 BNでは時系列状態をうまく表現できない DBNでは時間長を表現できない BNの限界 DBNにすると何ができて、何ができないのか TDBNにすると何ができるようになるのか HMMでは何が t-Δt秒前の 状態変数 t秒での t+Δt秒後の t+Δt２秒後の TDBNで表現できる歩行者コンテクストの例 1.長時間うろついている人物を不審人物とする 2.転んだ後、すぐに起き上がってこない人にのみ 　　助けを呼ぶ 時間変化および時間長を記述可能 長時間倒れこんだ人にのみアラート出すモデル

歩行者行動を可視化し、異常行動検知機構を実装した まとめと今後の課題 歩行者行動を可視化し、異常行動検知機構を実装した 多段推論による監視対象の絞込み TDBNによる具体的な異常行動推定 キャンパス内での検証実験を行った 　(データ数200) 次年度の課題 多人数による実験、評価 屋外環境における実験、評価