Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定

Presentation on theme: "Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定"— Presentation transcript:

1 Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
神戸大学 大西克則，滝口哲也，有木康雄

2 研究背景 人間を見るビジョン技術のニーズが高まっている 人体の姿勢推定 仮想世界の構築 人体全身の姿勢推定 画像監視
ロボットとのインタラクション ゲーム，映画等のエンターテインメント 仮想世界の構築 人体全身の姿勢推定

3 研究目的 ３次元姿勢推定方法 モーションキャプチャ 身体の動きのデータを正確に収集できる 問題点 体にマーカを装着する
複数個のカメラに囲まれた環境での撮影 単眼カメラからの姿勢推定 CMU Graphics Lab Motion Capture Database (

4 画像特徴 体の輪郭だけではなく 内部のエッジ情報も考慮した特徴量が必要
画像の人体特徴抽出方法：シルエット画像 体の変形等により隠れ部分が発生する(自己オクルージョン)に弱い 体の輪郭だけではなく 内部のエッジ情報も考慮した特徴量が必要 HOG (Histograms of Oriented Gradients) 従来，人や物体の検出に用いられてきた特徴量 物体の大まかな形状を表すことが可能 内部のエッジ情報も考慮 N.Dalal and B.Triggs，CVPR 2005

5 人体3Dモデル →関節角を与えることで人体が表現可能 モーションキャプチャシステム 画像からマーカを装着せず
人体は多関節物体であり，様々な形に変形する 各関節間の体節部分は剛体とみなせる →関節角を与えることで人体が表現可能 モーションキャプチャシステム 体にマーカを装着し，人体の関節角を推定 画像からマーカを装着せず 関節角を推定することで姿勢推定を行う CMU Graphics Lab Motion Capture Database (

6 姿勢推定方法 Bottom-up アプローチ Top-down アプローチ 双方向からアプローチすることにより 精度を向上させる
比較することにより推定する 高速 未学習の姿勢にも柔軟に推定 未知の姿勢でも推定可能 学習データに強く依存 学習データと極端に異なる入力には誤差が大きくなる 初期値の決定が困難 計算量が膨大 双方向からアプローチすることにより 精度を向上させる

7 姿勢推定方法 Bottom-up で大まかな姿勢の推定 Top-down で修正を行い，精度を向上させる Bottom-up 3D姿勢 x
入力画像 z Bottom-up 複数生成 評価 出力 3D姿勢 x

8 Bottom-up アプローチ 重回帰分析による推定 2D画像→3D姿勢 ３D人体モデルの関節： 画像特徴（HOG）：
変換行列Rは最小二乗推定により決定する 学習データをn個用意

9 Top-down アプローチ Particle Filter （Condensation法） [1998:Isard,Blake]
　多数の粒子によって確率分布を離散的に近似 粒子の状態空間と尤度評価 状態量：３D人体モデルの関節 (38次元ベクトル) 状態量には人体の関節可動域による制限がある 最も尤度の高い粒子を姿勢として決定する

10 Top-down アプローチ 粒子の尤度評価 各粒子の尤度：全粒子からCGで2D画像に変換し，シルエット画像を生成
粒子から生成された画像と、入力を画素単位で一致度を測る Bottom-upで初期状態を推定し， その付近に粒子を生成 繰り返し推定を行うことで 状態を収束させる Bottom-up による初期値 前状態の 重み付き平均 真値

11 実験条件 CMU Graphics Lab Motion Capture Database で
公開されているモーションキャプチャデータベースを使用 モーションキャプチャデータからCG画像を生成し，学習に用いる 歩く，走る，キック の3種類の姿勢を8方向から見た画像を使用 学習データ:1265枚 を 8 方向→10120枚

12 実験結果 入力画像 Bottom-up のみ Bottom-up → Top-down

13 まとめと今後の予定 まとめ 今後の予定 Top-down ではパーティクルフィルタを用いることで，真値に収束
画像によっては収束しない場合がある 特徴量，手法 今後の予定 データ数を増やして実験 様々な姿勢に対応 Bottom-up の方法の改良 特徴量の改良

14 ご静聴ありがとうございました

15 HOG特徴 輝度勾配を計算 入力画像 輝度勾配画像 HOG (Histograms of Oriented Gradients)
従来，人や物体の検出に用いられてきた特徴量 物体の大まかな形状を表すことが可能 内部のエッジ情報も考慮 N.Dalal and B.Triggs，CVPR 2005 輝度勾配を計算 入力画像 輝度勾配画像

16 HOG特徴 勾配方向を 9方向に量子化 照明や影の影響を受けにくい 局所的な幾何学変化に頑健

17 各パラメータの値 画像サイズ:70×130画素 HOG特徴 人体3次元モデル特徴次元:38 粒子数：800 セルサイズ:9×9画素
ブロックサイズ:3×3セル 特徴次元:8748 人体3次元モデル特徴次元:38 粒子数：800

18 評価 従来手法と比較すると，推定誤差が約5.35度減少