第３回　 CVにおけるエピポーラ幾何

Presentation on theme: "第３回　 CVにおけるエピポーラ幾何"— Presentation transcript:

1 第３回　 CVにおけるエピポーラ幾何 mutty@ics.kagoshima-u.ac.jp

2 第３回　 CVにおけるエピポーラ幾何 mutty@ics.kagoshima-u.ac.jp
ＣＶの幾何学的解析に必要な数学 線形代数 射影幾何学：　非ユークリッド幾何学の一種 ３次元空間と投影点との１対１対応を 無限遠の世界まで拡張　 　←投影（透視）画法の理論（１５C)から発展 　 ※幾何学(geomtry) : 変換(transformation) ＆ 空間(space) 射影空間：　ユークリッド空間＋無限遠要素

3 第３回　 CVにおけるエピポーラ幾何 mutty@ics.kagoshima-u.ac.jp
無限遠要素 無限遠点 無限遠直線 無限遠平面

4 鉄道線路における無限遠点

5 第３回　 CVにおけるエピポーラ幾何 mutty@ics.kagoshima-u.ac.jp
射影幾何の対象

6 結合の公理と双対原理 共線：同一直線に結びつく点の集合
第３回　 CVにおけるエピポーラ幾何 結合の公理と双対原理 共線：同一直線に結びつく点の集合 共点：同一点に結びつく直線の集合 結合の公理 ・１点と１直線は結びつかない ・全ての直線は少なくとも異なる３点と結びつく ・異なる２点に対しこれらと結びつく直線が1つ存在する ・異なる２直線に対しこれらと結びつく点が1つ存在する 双対原理 射影平面上で成立する命題の 点と直線、直線と点を入れ替えた命題も成立

7 パップスの定理 ｖｓ．中線定理 パップス：アレクサンドリア生まれの数学者（エジプト） ４C前半に活動 m m’ A’ A P R B B’
パップスの定理　ｖｓ．中線定理 　直線 m 上に点 A，B，C を， 直線 m‘上に点 A’，B’，C’ をとる． この時， 　AB’とA’B，BC’とB’C，CA’とC’Aの交点を P，Q，R とすると，この3点P，Q，Rは 1 直線上にある． m m’ A A’ B B’ C C’ P Q R

8 パップスの定理の双対定理 点 M を通る直線を a，b，c ， 点M’を通る直線をa’，b’，c’ とする．
この時， aとｂ‘の交点とa’とbの交点を通る直線をp, bとc‘の交点とb’とcの交点を通る直線をq, cとa‘の交点とc’とaの交点を通る直線をr, 　とするとき，この3直線p,q,rは 1 点で交わる．

9 デザルグの定理 デザルグの定理の双対定理＝デザルグの定理の逆 （自己双対）
G.デザルグ：フランスの数学者　射影幾何学の基本概念確立　 　　　　　　　　　　　　　　　　　　　　　　　　１７C前半に活動 デザルグの定理 同一平面上に無い２つの三角形　⊿X１X2X3 と⊿X’１X’2X’3 において， X１ X’１とX2 X’2とX3 X’3が一点で交わる時， 直線X１ X２と直線X’１ X’2 ，直線X２ X３と直線X’２ X’3 ， 直線X3 X1と直線X’3 X’1の交点を各々X,Y,Zとすると， X,Y,Zは同一直線上にある． デザルグの定理の双対定理＝デザルグの定理の逆 　　　　　　　　　　　　　　　　　　（自己双対） ← 　X：X１ X’１　　 Y：X2 X’2　　 Z：X3 X’3 　

10 デザルグの定理の図示 X 1直線を通る L11,l22,l33:1点で交わる Y Z
第３回　 CVにおけるエピポーラ幾何 デザルグの定理の図示 X Y Z 1直線を通る L11,l22,l33:1点で交わる 幾何学的意味：　透視変換で結びつく三角形の対応する　　　　　　　　　　　　辺の交点は全て一直線上に存在する

11 ３（４）種類の座標系 画像座標系 ○ （一般）ディジタル画像座標系 カメラ座標系 世界座標系 ○正規化（ディジタル）画像座標系
第３回　 CVにおけるエピポーラ幾何 ３（４）種類の座標系 画像座標系 　○ （一般）ディジタル画像座標系 ○正規化（ディジタル）画像座標系 カメラ座標系　 世界座標系

12 世界座標系 ３次元空間を表現する３次元直交座標系 Z 原点：　基準位置に設定 Y X

13 カメラ座標系 カメラ（視点）に固定された３次元直交座標系 　～　世界座標系における局所座標系 Y X Z 原点：　カメラの焦点

14 ディジタル画像座標系 画像上の点を表現する２次元座標系 左上が原点 u≧0, v≧0 (u, v)： ディジタル画像座標
第３回　 CVにおけるエピポーラ幾何 ディジタル画像座標系 画像上の点を表現する２次元座標系 左上が原点 u≧0, v≧0 (u, v)：　ディジタル画像座標 u軸とv軸は必ずしも直交しているとは限らない　 ｖｓ　正規化カメラ

15 世界座標系→カメラ座標系 カメラの外部変数（extrinsic parameters)： ６個
第３回　 CVにおけるエピポーラ幾何 世界座標系→カメラ座標系 カメラの外部変数（extrinsic parameters)：　６個 Ｓｍ’= PMｃ’ 　= PDMw’ ≡ PwMw’ 　（Pw=PD) (world coordinate system) RRt = RtR = I 又は D:剛体変換 (rigid transformation)

16 カメラ座標系→ディジタル画像座標系 ピンホールカメラモデルを利用 ～　針穴写真機

17 中心投影モデル 画像平面後置型 C: レンズ中心、 焦点(Focus) F: 焦点面 ｆ：焦点距離 Z: 光軸 ｃ：画像中心 画像平面前置型
第３回　 CVにおけるエピポーラ幾何 中心投影モデル 画像平面後置型 C:　レンズ中心、 　　　焦点(Focus) F: 焦点面　　ｆ：焦点距離 Z:　光軸　　 ｃ：画像中心 画像平面前置型 C-XYZ座標系：カメラ座標系 (camera coordinate 　　system)

18 斉次座標表現： [x,y,１] [x,y,z] ～ [λx, λy, λz] λ∈R と見なす．
第３回　 CVにおけるエピポーラ幾何 斉次座標表現： [x,y,１] [x,y,z] ～　 [λx, λy, λz] 　λ∈R と見なす． この場合， [x,y,z] はその比x/z，y/ｚ，１ によって定まるため， 平面上の点(x,y）と[x,y,１] を１対１に対応付ける．

19 中心投影の射影行列 sｍ’= PM’ 拡張ベクトル ｍ‘ 射影行列 P s: スカラー量
第３回　 CVにおけるエピポーラ幾何 中心投影の射影行列 拡張ベクトル 　　　ｍ‘ 射影行列 　　P s: スカラー量 sｍ’= PM’

20 正規化カメラとカメラの内部変数 正規化画像座標系（ｆ＝１）
第３回　 CVにおけるエピポーラ幾何 正規化カメラとカメラの内部変数 未知パラメータ　5個： 画像中心cの位置(u0,v0) 各軸のスケールと焦点 　距離fの積　αu αｖ 両軸の角度Θ （intrinsic parameters) 正規化画像座標系（ｆ＝１） カメラ校正 (camera calibration): カメラの内部変数を 推定すること

21 ステレオカメラ系の設定 epipole: 両カメラ中心を結ぶ 直線と各画像平面 との交点 全てのepipolar line の交点
第３回　 CVにおけるエピポーラ幾何 ステレオカメラ系の設定 epipole: 両カメラ中心を結ぶ 　直線と各画像平面 　との交点 全てのepipolar line の交点

22 射影モデル1： 中心投影 (perspective projection): 非線形 x=X/Z ｙ=Y/Z (f=1) 中心(透視）投影
第３回　 CVにおけるエピポーラ幾何 射影モデル1：　中心投影 　　　中心(透視）投影 (perspective projection): 非線形 　x=X/Z　 ｙ=Y/Z　(f=1) 線形近似

23 射影モデル２： 平行投影 物体の位置に 非依存 x=X ｙ=Y (orthographic projection): 平行投影
第３回　 CVにおけるエピポーラ幾何 射影モデル２：　平行投影 　平行投影 (orthographic projection): 物体の位置に 　非依存 x=X　 ｙ=Y

24 射影モデル３：弱中心投影 光軸に近い時に良い近似 x=X/Zc y=Y/Zc Zc: 物体重心Gの奥行き （定数） 中心投影の０次近似
第３回　 CVにおけるエピポーラ幾何 射影モデル３：弱中心投影 　　　弱中心投影 (weak perspective projection): 光軸に近い時に良い近似 　x=X/Zc y=Y/Zc Zc: 物体重心Gの奥行き 　（定数） 　 中心投影の０次近似

25 射影モデル４：平行透視投影 平行透視（擬似中心）投影 直線GCに 平行に射影 光軸と同じ側の時に良い近似
第３回　 CVにおけるエピポーラ幾何 射影モデル４：平行透視投影 直線GCに 平行に射影 平行透視（擬似中心）投影 (paraperspective projection): 光軸と同じ側の時に良い近似 x=1/Zc{X-(Xc/Zc)Z+Xc} ｙ=1/Zc{Y-(Yc/Zc)Z+Yc} (Xc,Yc,Zc）: Gの位置 　　 （定数） 　　中心投影の１次近似

26 射影モデル（一般化） アフィン投影(affine projection): 各線形近似投影の一般化
第３回　 CVにおけるエピポーラ幾何 射影モデル（一般化） アフィン投影(affine projection): 各線形近似投影の一般化 　 x = a11X + a12Y + a13Z + a14 ｙ = a21X + a22Y + a23Z + a24