Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定 神戸大学 大西克則，滝口哲也，有木康雄

研究背景 人間を見るビジョン技術のニーズが高まっている 人体の姿勢推定 仮想世界の構築 人体全身の姿勢推定 画像監視 ロボットとのインタラクション ゲーム，映画等のエンターテインメント 仮想世界の構築 人体全身の姿勢推定

研究目的 ３次元姿勢推定方法 モーションキャプチャ 身体の動きのデータを正確に収集できる 問題点 体にマーカを装着する 複数個のカメラに囲まれた環境での撮影 単眼カメラからの姿勢推定 CMU Graphics Lab Motion Capture Database (http://mocap.cs.cmu.edu/)

画像特徴 体の輪郭だけではなく 内部のエッジ情報も考慮した特徴量が必要 画像の人体特徴抽出方法：シルエット画像 体の変形等により隠れ部分が発生する(自己オクルージョン)に弱い 体の輪郭だけではなく 内部のエッジ情報も考慮した特徴量が必要 HOG (Histograms of Oriented Gradients) 従来，人や物体の検出に用いられてきた特徴量 物体の大まかな形状を表すことが可能 内部のエッジ情報も考慮 N.Dalal and B.Triggs，CVPR 2005

人体3Dモデル →関節角を与えることで人体が表現可能 モーションキャプチャシステム 画像からマーカを装着せず 人体は多関節物体であり，様々な形に変形する 各関節間の体節部分は剛体とみなせる →関節角を与えることで人体が表現可能 モーションキャプチャシステム 体にマーカを装着し，人体の関節角を推定 画像からマーカを装着せず 関節角を推定することで姿勢推定を行う CMU Graphics Lab Motion Capture Database (http://mocap.cs.cmu.edu/)

姿勢推定方法 Bottom-up アプローチ Top-down アプローチ 双方向からアプローチすることにより 精度を向上させる 比較することにより推定する 高速 未学習の姿勢にも柔軟に推定 未知の姿勢でも推定可能 学習データに強く依存 学習データと極端に異なる入力には誤差が大きくなる 初期値の決定が困難 計算量が膨大 双方向からアプローチすることにより 精度を向上させる

姿勢推定方法 Bottom-up で大まかな姿勢の推定 Top-down で修正を行い，精度を向上させる Bottom-up 3D姿勢 x 入力画像 z Bottom-up 複数生成 評価 出力 3D姿勢 x

Bottom-up アプローチ 重回帰分析による推定 2D画像→3D姿勢 ３D人体モデルの関節： 画像特徴（HOG）： 変換行列Rは最小二乗推定により決定する 学習データをn個用意

Top-down アプローチ Particle Filter （Condensation法） [1998:Isard,Blake] 　多数の粒子によって確率分布を離散的に近似 粒子の状態空間と尤度評価 状態量：３D人体モデルの関節 (38次元ベクトル) 状態量には人体の関節可動域による制限がある 最も尤度の高い粒子を姿勢として決定する

Top-down アプローチ 粒子の尤度評価 各粒子の尤度：全粒子からCGで2D画像に変換し，シルエット画像を生成 粒子から生成された画像と、入力を画素単位で一致度を測る Bottom-upで初期状態を推定し， その付近に粒子を生成 繰り返し推定を行うことで 状態を収束させる Bottom-up による初期値 前状態の 重み付き平均 真値

実験条件 CMU Graphics Lab Motion Capture Database で 公開されているモーションキャプチャデータベースを使用 モーションキャプチャデータからCG画像を生成し，学習に用いる 歩く，走る，キック の3種類の姿勢を8方向から見た画像を使用 学習データ:1265枚 を 8 方向→10120枚

実験結果 入力画像 Bottom-up のみ Bottom-up → Top-down

まとめと今後の予定 まとめ 今後の予定 Top-down ではパーティクルフィルタを用いることで，真値に収束 画像によっては収束しない場合がある 特徴量，手法 今後の予定 データ数を増やして実験 様々な姿勢に対応 Bottom-up の方法の改良 特徴量の改良

ご静聴ありがとうございました

HOG特徴 輝度勾配を計算 入力画像 輝度勾配画像 HOG (Histograms of Oriented Gradients) 従来，人や物体の検出に用いられてきた特徴量 物体の大まかな形状を表すことが可能 内部のエッジ情報も考慮 N.Dalal and B.Triggs，CVPR 2005 輝度勾配を計算 入力画像 輝度勾配画像

HOG特徴 勾配方向を 9方向に量子化 照明や影の影響を受けにくい 局所的な幾何学変化に頑健

各パラメータの値 画像サイズ:70×130画素 HOG特徴 人体3次元モデル特徴次元:38 粒子数：800 セルサイズ:9×9画素 ブロックサイズ:3×3セル 特徴次元:8748 人体3次元モデル特徴次元:38 粒子数：800

評価 従来手法と比較すると，推定誤差が約5.35度減少