Determining Optical Flow
はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる
オプティカルフローの計算に おける問題点 それぞれの点における速度場は二つの 要素を持つ（ 2 次元） それぞれの点における明るさの変化は 1 次元 – 明るさだけでは求めることができない – その他の拘束の導入が必要
物体の動きとオプティカルフ ローの関係 オプティカルフローから 3 次元世界にお ける物体の速度との対応は必ずしも明 らかではない – 回転する球 明るさの濃淡が変化しない – 鏡面反射体 それ自身ではなく映っている物の速度を表す ここでは見かけの速度を表面の動きと 同一視する
検討する問題領域 物体の表面は平坦 ある点の明るさは反射率に比例 反射率は連続的に変化 – 明るさが微分可能 明るさの分布の変化は対応する点の変化 によってのみ決まる
拘束（ constraints ） 微少時間で明るさは変化しない Ｅ（ｘ，ｙ，ｔ）：点（ｘ，ｙ）、時間ｔにお ける明るさ
ここでＥ（ｘ，ｙ，ｔ）を差分で表す δ ｔで割る
最終的に明るさに関する拘束より以下の式 を得る
Constraint Line u v (E x,E y ) constraint line 速度空間
Smoothness Constraint 近くの点は似たような速度を持つ ほとんどの場所において明るさの分布 の速度は連続的に変化する
拘束を表現する方法 速度の傾きの自乗和（下式）を最小化 ラプラシアンの自乗の和（下式）の最 小化 – ここでは上の式を用いる
偏導関数の推定 次のような立方体の中心におけるＥ ｘ ， Ｅ ｙ ，Ｅ ｔ を考える。 ｘ ｙ ｔ 明るさ空間
偏導関数の推定 j+1 i i+1 j k+1 k ｘ ｙ ｔ
速度のラプラシアン 速度についてのラプラシアン（∇ 2 u, ∇ 2 v ）は次 の近似式より求める 速度の平均値 u i,j,k,v i,j,k は隣接点の速度に下の重 みをかけた総和 1/121/61/12 1/61/6 1/121/61/12 i+1 i i-1 j+1j-1j
誤差の最小化 明るさの変化に関する拘束 Smoothness Constraint この二つを最小化する ε b と ε c 2 の相対的な重みはどうするか？
誤差の最小化 最小化するべき誤差 ε 2 を次式で定義 この値を最小化するような速度 u,v を求め る
誤差の最小化 変分法とラプラシアンの近似を用いる
誤差の最小化 u v (E x,E y ) constraint line (u,v)
反復計算 方程式をそのまま解くとコストが非常 に大きくなる – 導関数（ E x,E y,E t ）と平均値（ u,v ）から下 の式を用いた反復計算により求める
一様（明るさが同じ）な領域の 充填 明るさの傾き（ E x,E y ）が 0 のとき、速度 （ u n+1,v n+1 ）は平均値（ u n,v n ）と等しくなる – 一様な領域の速度 u,v は反復計算によって領域の 境界から順に充填されていく – 反復回数は充填される領域の幅（ピクセル数） よりも多くなければならない
Iterative Scheme 1 time step に 1 回の繰り返し計算を行う – 単位時間に処理できる画像数が増える – 誤差が相殺される（傾向にある） –1 time step の間に安定した値が得られるま で繰り返す方法に比べより正確で、また収 束も早い
結果１ 回転（ 2.8 度 /time step ） 収縮（ 5 ％ /time step ） すべての点における速度のラプラシアンが 0 （画像全体が回転 or 収 縮している）である物体の移動についてのオプティカルフローの計 算結果（ 32time step 後） ほぼ正確な値が計算できる
結果２ 回転（角速度は距離に反比例）収縮（収縮率は距離に反比例） 特異点（回転 or 収縮の中心）において速度のラプラシアンが 0 でな い移動についてのオプティカルフローの計算結果（ 32time step 後） 特異点付近で大きなエラーが起きる
結果３ 回転する球 （ 5 度 /time step, 反復計算にて計算） 境界において速度のラプラシアンが 0 でない移動についてのオプ ティカルフローの計算結果（ 32time step 後） 境界付近で大きなエラーが起きる 回転する球 （ 5 度 /time step, 正確なフロー）
まとめ 明るさが一つの拘束しか与えないため その他の拘束を導入し、二つの成分を 持つオプティカルフローを計算する ノイズや量子化によって誤差が生じや すい
量子化とノイズ
誤差の最小化 変分法とラプラシアンの近似を用いると 次式を得る
最小化の拘束
Tightness of Constraint
実験