参考書 佐藤 淳： 「コンピュータビジョン －視覚の幾何学－」 コロナ社

Presentation on theme: "参考書 佐藤 淳： 「コンピュータビジョン －視覚の幾何学－」 コロナ社"— Presentation transcript:

1 参考書 佐藤 淳： 「コンピュータビジョン －視覚の幾何学－」 コロナ社
視覚の幾何学２ 呉海元＠和歌山大学 参考書 佐藤　淳： 「コンピュータビジョン　－視覚の幾何学－」 コロナ社

2 Single view geometry Camera model Single view geom.

3 透視投影モデル (x,y,z)から(x’,y’,z’)へ投影: （相似三角関係より） 仮定： 原点をレンズの中心に Z軸と光軸と同じ
O x 仮定： 　原点をレンズの中心に 　Z軸と光軸と同じ （f = Z’） ●透視投影はZに関し非線形である ★幾何関係だけ考える理論系の人はよくｆ＝１とする

4 正射影 (orthographic projection)
●正射影画像面に垂直な軸に沿って投影するもの ●Z軸方向の情報が失われ, X軸とY軸方向の座標はそのまま保存される ●正射影はZに関し線形であり数学 的にははるかに扱いやすい ●正射影は実際のカメラによる投影 とは掛け離れたものであり,この投影 モデルがＣＧの分野に良く使われて いるが、ＣＶの分野に応用できる場 合は稀である　　

5 正射影モデル ●正射影はZに関し線形である Projection from (x,y,z) to (x’,y’,z’): or

6 弱透視投影(weak perspective projection)
●透視投影は現実のカメラによる投影にきわめて近いが、非線形であり数学的には扱いにくい ●正射影は線形であるが、実際のカメラによる投影とは程遠い ●弱透視投影はこれら二の投影の中間的なものであり、正射影と透視投影を組み合わせた投影である

7 弱透視投影 ●弱透視投影は正射影と透視投影を組合わせた投影 1) 対象物を画像面pに平行な平面Pに正射影⇒線形
　⇒均一に拡大或は縮小を行っている⇒線形 ★弱透視投影は線形 　　x = X’/Z’ = X/Z° 　　y = Y’/Z’ = Y/Z° 　　Z°は定数

8 弱透視投影が成り立つ条件 ●弱透視投影は透視投影の近似である ●この近似の有効範囲は限られている
●弱透視投影では対象物上の各点までの距離Zが一定値Z°で近似できることを前提としている ●対象物のZ軸方向の厚みDがカメラから対象物までの距離Zと比較して十分小さければよい ●D：Zが1：10以上であればこの近似が有効であると考えてよい

9 平行透視投影(paraperspective projection)
●弱透視投影では透視投影の前に画像面pに平行な平面Pへの正射影を行った ●透視投影を線形近似するもう一つの一般化した方法：透視投影の前に平面Pへ平行投影を行う　　　　 　 　⇒正射影のように各点をある直線Lに平行に投影するが、この直線Lが必ずしも平面Pに垂直ではない L L 弱透視投影 平行透視投影

10 平行透視投影 ●平行投影の方向 = 対象物の平均的な方向
●平行投影は線形な投影であり、平行な平面間の透視投影も線形な投影であるから、これらを組み合わせた平行透視投影も線形な投影となる

11 平行透視投影の式 Step 1: 対象物の平均的な方向を(△X, △Y, 1)とし この方向に平行投影する：
　 この方向に平行投影する： 　 　X’ = X + ( Z°- Z）△X 　 　Y’ = Y + ( Z°- Z）△Y 　 　Z’ = Z° 　 Step 2: 透視投影する 　　　　　平行透視投影は以下のように表せる： 　　　 　 　x = X’/Z’ = 1/Z°・X - △X/Z°・ Z + △X 　　　 　 　y = Y’/Z’ = 1/Z°・Y - △Y/ Z°・Z + △Y

12 平行透視投影 ●前式のX, Y, Zにかかる1/ Z°, △X/ Z°, △Y/ Z°, △X, △Yなどはいずれも定数 => X, Y, Zに関して線形 ●平行透視投影も透視投影の線形近似 ●対象物の平均方向が光軸に一致する場合には平行透視投影は弱透視投影となる

13 弱透視投影と平行透視投影 ●平行透視投影の方がより透視投影に近い
●弱透視投影も平行透視投影も画像面pに平行な平面Pに平行投影した後、透視投影する ●弱透視投影は平面Pに垂直に平行投影する ●平行透視投影は対象物の平均的な方向に向けて平行投影する ●平行透視投影の方がより透視投影に近い

14 E.g., Shape Reconstruction
Right Left 正射影 透視投影 ★射影モデルが異なる→同じ画像から復元された３D情報が異なる

15 Affine cameras 焦点距離ｆ を増加 物体とカメラの距離を増加

16 2次元平行移動

17 2次元拡大・縮小

18 2次元回転（原点中心）

19 2次元アフィン変換 平行移動 アフィン変換 拡大・縮小 一般化！ 回転 せん断

20 アフィン変換をもっと簡単な形に~ 同次座標
(homogeneous coordinates) １つ次元を 上げると・・・ 積 和 積のみ！ 図形の変換を全て行列の乗算1回で処理可能 複雑な座標変換がすべて行列の形で処理できる

21 同次座標の基本２Ｄ変換 Basic 2D transformations as 3x3 matrices 平行移動Translate
拡大・縮小Scale 回転Rotate せん断Shear

22 行列の合成 複雑な座標変換の行列は各処理の行列の掛け算から合成 p’ = T(tx,ty) R(Q) S(sx,sy) p

23 同次座標 （3次元） ( x, y, z ) ( x, y, z, f ) 3次元座標値を，一つ次元を上げて4次元空間の中で処理
同次座標　（3次元） 3次元座標値を，一つ次元を上げて4次元空間の中で処理 (x/f, y/f, z/f) が三次元座標値となる f=1のときはそのまま(x, y, z)が座標値 ( x, y, z ) ( x, y, z, f ) 2次元アフィン変換と同じく、 座標変換をまとめて表記できる！

24 3次元アフィン変換 2次元 ３次元 （A： アフィン変換行列）
P(x, y, z) からP(x’, y’, z’) へのアフィン変換（同次座標による表現） （A：　アフィン変換行列）

25 同次座標導入の利点 同次座標を使わない場合 一回目のアフィン変換 二回目のアフィン変換 同次座標を導入した場合
H1,H2：　2D ⇒ 3 x 3 のアフィン変換行列 H1,H2：　3D ⇒ 4 x 4 のアフィン変換行列

26 直線上の点はすべて同じ座標を持つものとする(点と線が同一視される)
同次座標系導入の利点 f=w=1 直線上の点はすべて同じ座標を持つものとする(点と線が同一視される)

27 無限遠要素 無限遠点 無限遠直線 無限遠平面

28 Two-view geometry 3D reconstruction Epipolar geometry E-matrix comp.
F-matrix comp. H-matrix comp. Structure comp.

29 立体視Stereo Vision (Stereopsis)
Main problem – recover 3D depth from two (or more) image views ●一台のカメラから得られた画像のみからでは、３Ｄ物体の形状を一意に決定することができない ●２つ以上の異なる視点で得られた画像からはこのような不定性を取り除き、形状を決定することができる ●静止シーンの場合、一台のカメラから異なる視点で得られた2枚の画像でもＯＫ

30 立体視の原理 平行ステレオ 三角計測法に基づいて、 視線の交点が注視点の空間位置 距離Zは焦点距離f、ベースB、差△xの関数
差(disparity) 距離Zは焦点距離f、ベースB、差△xの関数

31 立体視の原理 光軸は平行ではない場合 Algorithm
p l r P Ol Or Xl Xr Pl Pr Zl Yl Zr Yr R, t t X’l Xl’ = T, Yl’ = Xl’xZl, Z’l = Xl’xYl’ Algorithm Rotate both left and right camera so that they share the same X axis : Or-Ol = T Define a rotation matrix Rrect for the left camera Rotation Matrix for the right camera is RrectRT Rotation can be implemented by image transformation Pr = R (Pl – T) Pl’ = Rrect Pl Pr’ = Rrect RT Pr First rotate the right camera so that it’s three axes parallel to the left camera; then Rotate both camera so that they have the same x axis, and Z axes are parallel 光軸は平行ではない場合

32 立体視の原理 光軸は平行になるように 変換（R,tが既知） Algorithm
p l r P Ol Or Xl Xr Pl Pr Zl Yl Zr Yr R, t t X’l Xl’ = T, Yl’ = Xl’xZl, Z’l = Xl’xYl’ Algorithm Rotate both left and right camera so that they share the same X axis : Or-Ol = T Define a rotation matrix Rrect for the left camera Rotation Matrix for the right camera is RrectRT Rotation can be implemented by image transformation Pr = R (Pl – T) Pl’ = Rrect Pl Pr’ = Rrect RT Pr First rotate the right camera so that it’s three axes parallel to the left camera; then Rotate both camera so that they have the same x axis, and Z axes are parallel 光軸は平行になるように 変換（R,tが既知）

33 Correlation Approach LEFT IMAGE (xl, yl) (0). Essential Equation represents actually the epipolar plane in either the left or the right image (1). Epipolar line in the right image given pl (Epl)Tpr=0 zr = fr extension of the equations in pr = (xr,yr,fr) (2). Epipolar line in the left image given pr (prTE) pl=0 zl = fl For each point (xl, yl) in the left image, define a window centered at the point

34 Correlation Approach RIGHT IMAGE (xl, yl) (0). Essential Equation represents actually the epipolar plane in either the left or the right image (1). Epipolar line in the right image given pl (Epl)Tpr=0 zr = fr extension of the equations in pr = (xr,yr,fr) (2). Epipolar line in the left image given pr (prTE) pl=0 zl = fl … search its corresponding point within a search region in the right image

35 Correlation Approach RIGHT IMAGE (xr, yr) dx (xl, yl) (0). Essential Equation represents actually the epipolar plane in either the left or the right image (1). Epipolar line in the right image given pl (Epl)Tpr=0 zr = fr extension of the equations in pr = (xr,yr,fr) (2). Epipolar line in the left image given pr (prTE) pl=0 zl = fl … the disparity (dx, dy) is the displacement when the correlation is maximum

36 特徴に基づいた立体視 特徴検出 残りの部分は表面内挿 特徴コーナー、点、エッジ 対応特徴を見つける （相関評価による）
　⇒差（disparty）より奥行計算 残りの部分は表面内挿 corner line structure

37 よく用いられる相関評価方法 SSD(Sum of Squared Differences) 最も基本的な誤差関数 画像をベクトルとみなせば、
　ベクトル間のユークリッド距離 外れ値の影響を受けやすい 照明変化の影響を受けやすい ラスタスキャン 多次元ベクトルと考える 画素毎に差をとって二乗 総和

38 よく用いられる相関評価方法 SAD(Sum of Absolute Differeces) 画素毎の差分の絶対値の和
SSDに比べて外れ値の影響を受けにくい 照明の影響を受けやすい

39 よく用いられる相関評価方法 CC(Cross Correlation) 正規化相互相関 ベクトル間の内積（角度） 照明変化に強い
SSD,SAD CC ノルムが変化しても内積 CCは変わらない 明るさの正規化 コントラスト の正規化

40 特徴に基づいた立体視 corner 差(disparity) 2枚の画像から 3次元情報を復元

41 Examples Left Image Right Image Depth Map

42 １．弱透視投影の原理図を描き、その原理と成り立つ条件について述べなさい
出席チェック １．弱透視投影の原理図を描き、その原理と成り立つ条件について述べなさい