ステレオカメラを用いた歩行者の行動解析
ステレオカメラを用いた歩行者の行動解析 歩行者の物理センシング ・複数人の3 次元空間的な移動検知 ・多人数の群れの人数計測 ステレオカメラシステム Point Grey Research Bumblebee2 歩行者の物理センシング ・複数人の3 次元空間的な移動検知 ・多人数の群れの人数計測 歩行者の行動解析システム 高次コンテクストのリアルタイム抽出 ・歩行者の単純行動取得 ・異常行動の推定
プロジェクトのゴール 歩行者の単純行動と異常行動のリアルタイム検知 歩行者行動の可視化 単純行動 歩く 走る 個人、群 偶発的な群れ 停止 入力ステレオカメラデータ 歩く t -Δt秒 t 秒 t +Δt秒 走る 個人、群 偶発的な群れ 停止 群のみ 知り合い同士 歩行者(群)3次元運動データ うろつく 3次元座標値 歩行者速度 距離データ平均, 等 座る 異常行動 倒れこむ 通常時から 外れた行動 より具体的 な異常行動 長時間うろつく
既存研究との差分 ターゲット領域 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知 東京大学 マルチセンサを用いた 群集の行動認識 産総研 人およびその動作の自動認識 歩行者単体 歩行者群 ミネソタ大学 Detection of Unusual Crowd Activity ATR: A social robot that anticipates… 異常行動の不検知 既存研究との差分は 1．歩行者群に対応した具体的な異常行動の検知 2．高さ方向を考慮したコンテクストの取得（転ぶ、柵の乗り越えなど）
歩行者行動の多段推論機構 歩行者単純行動の認識 ・歩く、走る、うろつくなど 歩行者経路の推定 異常状態の検出 具体的な異常状態の推定 Stereo Camera System 前段の処理 歩行者単純行動の認識 ・歩く、走る、うろつくなど 歩行者経路の推定 異常状態の検出 Primitive Activity Recognition Trajectory Matching Abnormal Situation Detection 後段の処理 Concrete Abnormal Situation Estimation 具体的な異常状態の推定 多段推論の利点 異常行動を取る対象に絞った詳細推定が可能 ・監視対象を設定可能 ・多人数が存在する環境でリアルタイムに動作
前段： 歩行者の流れを考慮した行動認識 実験シーン 屋内実験 取得データ数100 歩行者経路の分類結果(4方向に分類） 評価データグラフ 前段： 歩行者の流れを考慮した行動認識 歩行経路と異常行動の検知 実験シーン 屋内実験 取得データ数100 DP-Matchingで歩行者の流れから 外れた行動を検知 （k-meansにより歩行経路を事前学習） 異常行動として検知、後段部に詳細推定をディスパッチする 歩行者経路の分類結果(4方向に分類） 単純行動の検知 歩行速度と歩行タイプから学習済み SVMにより検知 歩行経路による歩行タイプ判別 (5x5 vector) 通りすぎる人 うろつく人 評価データグラフ
後段： 詳細な異常行動推定 TDBN 評価データグラフ 転倒実験の様子 適応例：転倒の検出 t-Δt秒前の 状態変数 t秒での 後段： 詳細な異常行動推定 TDBN 評価データグラフ 転倒実験の様子 t-Δt秒前の 状態変数 t秒での t+Δt秒後の t+Δt２秒後の 適応例：転倒の検出 t-1秒前 t秒 t+1秒後 t+10秒後
歩行者行動を可視化し、異常行動検知機構を実装した まとめと今後の課題 歩行者行動を可視化し、異常行動検知機構を実装した TDBNによる具体的な異常行動推定 今後の課題