Nonrigid Structure from Motion in Trajectory Space 清水彰一
はじめに 剛体の構造復元 非剛体の構造復元 形状スペース 追跡スペース [C. Tomasi and T. Kanade: “Shape and motion from image streams under orthography: A factorization method,” IJCV, Vol. 9, pp. 137–154, 1992] 非剛体の構造復元 形状スペース [C. Bregler, A. Hertzmann, and H. Biermann: “Recovering non-rigid 3D shape from image streams,” CVPR, Vol.2, pp.690–696, 2000] 追跡スペース [I. Akhter, Y.A. Sheikh, S. Khan, and T. Kanade: “Nonrigid Structure from Motion in Trajectory Space,” Neural Information Processing Systems, 2008]
剛体の構造復元 モーションと形状を同時に推定 http://journal.mycom.co.jp/series/interview/179/index.html
非剛体の構造復元 形状空間 軌跡空間
三次元位置の表現 時刻t、P点の三次元位置 基本形状の線形的な組み合わせとして表現可能 3 P
数フレームに亘る三次元位置 形状空間 F 追跡空間 3P 形状空間と追跡空間の関係が表現可能
軌跡基底における三次元表現 あるP点の三次元位置をT(i)=[Tx(i)T Ty(i)T Tz(i)T ]とする 離散コサイン変換で表現
構造行列の因子分解 構造行列は射影行列と係数行列で表現可能 3k k 3F P P 3k
観測行列の定義 観測行列(measurement matrix) FフレームP点の画像座標の集まり 2F P
観測行列の分解 観測行列Wを正射影行列 と構造行列Sに分解 と を用いて変形 3F 2F
SVDを用いた因子分解 特異値分解 可逆行列Qによる校正 因子分解の結果は一意に決定できない
Metric upgrade と を構成する行列Qは三列だけで十分 さらに が2i-1×2iとすると、単位行列I2×2と 基底ベクトルの2乗q 2と等価になる を非線形最小化問題として解く
各パラメータの算出 回転行列 を から算出 Lの算出 係数行列 の算出
評価実験 実験１ 実験２ 実験３ 動きが複雑なモーションキャプチャデータによる評価 バレーボール、逆立ち、空手、踊り 軌跡基底kの違いによる安定性と復元精度の評価 Drink, Pickup, Yoga, Stretch, Multirigid, Dance, Shark 実験３ 実画像による評価 PIEデータセットから顔シーケンス、Matrix、キューブ、恐竜
実験1 動きが複雑なモーションキャプチャデータによる評価 真値 復元値
実験2 軌跡基底kの違いによる安定性の評価 対象物の変化量が少ない、またはカメラのモーションが大きい 安定して復元可能
実験2 復元精度の評価 Trajectory Bases Torresani’s EM-Gaussian Xiao’s Shape Bases Dataset Erot ED DRINK 5.80E-03 2.50E-02 0.2906 0.3393 0.3359 3.5186 PICKUP 1.55E-01 2.37E-01 0.4277 0.5822 0.4687 3.3721 YOGA 1.06E-01 1.62E-01 0.8089 0.8097 1.2014 7.4935 STRETCH 5.49E-02 1.09E-01 0.7594 1.1111 0.9489 4.2415 MULTIRIGID 1.96E-08 4.88E-02 0.1718 2.5902 0.0806 11.7013 DANCE NA 2.96E-01 0.9839 2.9962 SHARK 3.12E-01 0.1086 0.4772
実験3: Matrix
実験3: キューブ
実験3: 恐竜
おわりに Nonrigid structure from motion in trajectory space の調査 軌跡空間において軌跡基底の線形的な組み合わせにより 三次元位置を表現 高精度に非剛体の形状を復元することが可能