Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる.

Presentation on theme: "Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる."— Presentation transcript:

1 Determining Optical Flow

2 はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる

3 オプティカルフローの計算に おける問題点 それぞれの点における速度場は二つの 要素を持つ（ 2 次元） それぞれの点における明るさの変化は 1 次元 – 明るさだけでは求めることができない – その他の拘束の導入が必要

4 物体の動きとオプティカルフ ローの関係 オプティカルフローから 3 次元世界にお ける物体の速度との対応は必ずしも明 らかではない – 回転する球 明るさの濃淡が変化しない – 鏡面反射体 それ自身ではなく映っている物の速度を表す ここでは見かけの速度を表面の動きと 同一視する

5 検討する問題領域 物体の表面は平坦 ある点の明るさは反射率に比例 反射率は連続的に変化 – 明るさが微分可能 明るさの分布の変化は対応する点の変化 によってのみ決まる

6 拘束（ constraints ） 微少時間で明るさは変化しない Ｅ（ｘ，ｙ，ｔ）：点（ｘ，ｙ）、時間ｔにお ける明るさ

7 ここでＥ（ｘ，ｙ，ｔ）を差分で表す δ ｔで割る

8 最終的に明るさに関する拘束より以下の式 を得る

9 Constraint Line u v (E x,E y ) constraint line 速度空間

10 Smoothness Constraint 近くの点は似たような速度を持つ ほとんどの場所において明るさの分布 の速度は連続的に変化する

11 拘束を表現する方法 速度の傾きの自乗和（下式）を最小化 ラプラシアンの自乗の和（下式）の最 小化 – ここでは上の式を用いる

12 偏導関数の推定 次のような立方体の中心におけるＥ ｘ ， Ｅ ｙ ，Ｅ ｔ を考える。 ｘ ｙ ｔ 明るさ空間

13 偏導関数の推定 j+1 i i+1 j k+1 k ｘ ｙ ｔ

14 速度のラプラシアン 速度についてのラプラシアン（∇ 2 u, ∇ 2 v ）は次 の近似式より求める 速度の平均値 u i,j,k,v i,j,k は隣接点の速度に下の重 みをかけた総和 1/121/61/12 1/61/6 1/121/61/12 i+1 i i-1 j+1j-1j

15 誤差の最小化 明るさの変化に関する拘束 Smoothness Constraint この二つを最小化する ε b と ε c 2 の相対的な重みはどうするか？

16 誤差の最小化 最小化するべき誤差 ε 2 を次式で定義 この値を最小化するような速度 u,v を求め る

17 誤差の最小化 変分法とラプラシアンの近似を用いる

18 誤差の最小化 u v (E x,E y ) constraint line (u,v)

19 反復計算 方程式をそのまま解くとコストが非常 に大きくなる – 導関数（ E x,E y,E t ）と平均値（ u,v ）から下 の式を用いた反復計算により求める

20 一様（明るさが同じ）な領域の 充填 明るさの傾き（ E x,E y ）が 0 のとき、速度 （ u n+1,v n+1 ）は平均値（ u n,v n ）と等しくなる – 一様な領域の速度 u,v は反復計算によって領域の 境界から順に充填されていく – 反復回数は充填される領域の幅（ピクセル数） よりも多くなければならない

21 Iterative Scheme 1 time step に 1 回の繰り返し計算を行う – 単位時間に処理できる画像数が増える – 誤差が相殺される（傾向にある） –1 time step の間に安定した値が得られるま で繰り返す方法に比べより正確で、また収 束も早い

22 結果１ 回転（ 2.8 度 /time step ） 収縮（ 5 ％ /time step ） すべての点における速度のラプラシアンが 0 （画像全体が回転 or 収 縮している）である物体の移動についてのオプティカルフローの計 算結果（ 32time step 後） ほぼ正確な値が計算できる

23 結果２ 回転（角速度は距離に反比例）収縮（収縮率は距離に反比例） 特異点（回転 or 収縮の中心）において速度のラプラシアンが 0 でな い移動についてのオプティカルフローの計算結果（ 32time step 後） 特異点付近で大きなエラーが起きる

24 結果３ 回転する球 （ 5 度 /time step, 反復計算にて計算） 境界において速度のラプラシアンが 0 でない移動についてのオプ ティカルフローの計算結果（ 32time step 後） 境界付近で大きなエラーが起きる 回転する球 （ 5 度 /time step, 正確なフロー）

25 まとめ 明るさが一つの拘束しか与えないため その他の拘束を導入し、二つの成分を 持つオプティカルフローを計算する ノイズや量子化によって誤差が生じや すい

26 量子化とノイズ

27 誤差の最小化 変分法とラプラシアンの近似を用いると 次式を得る

28 最小化の拘束

29 Tightness of Constraint

30 実験