視覚の幾何学 3 呉海元＠和歌山大学 参考書 佐藤 淳： 「コンピュータビジョン －視覚の幾何 学－」 コロナ社.

Presentation on theme: "視覚の幾何学 3 呉海元＠和歌山大学 参考書 佐藤 淳： 「コンピュータビジョン －視覚の幾何 学－」 コロナ社."— Presentation transcript:

1 視覚の幾何学 3 呉海元＠和歌山大学 参考書 佐藤 淳： 「コンピュータビジョン －視覚の幾何 学－」 コロナ社

2 特徴に基づいた立体視 corner 差 (disparity) 2 枚の画像から 3 次元情報を復元

3 ボールの３Ｄ軌跡の計測 平行ステレビデオオカメラ

4  カメラキャリブレーション済 みなら  光軸は平行になるように変換 （ R,t が既知）  ２Ｄ⇒３Ｄ p l p r P OlOl OrOr XlXl XrXr PlPl PrPr ZlZl YlYl ZrZr YrYr R, t tX’ l X l ’ = T, Y l ’ = X l ’xZ l, Z’ l = X l ’xY l ’ 立体視の原理 問題： 対応点の探索をどう絞るか？

5 ２眼視の幾何 : Two-View Geometry courtesy of F. Dellaert x1x1 x’1x’1 x2x2 x’2x’2 x3x3 x’3x’3 画像間の点（ x i to x’ i ）の対応関係は ・カメラ間の剛体変換（カメラ行列） ・シーンの構造 により決定

6 エピボーラ幾何 (Epipolar geometry ） 複数の視点における相対的なカメラの位置や姿 勢の情報をエピポーラ幾何（ Epipolar geometry ）と呼ばれる画像特有の幾何によって 記述できる O O もう一方のカメラでは、 画像上のどこに投影されるのか？ ？

7 エピボーラ幾何（ Epipolar Geometry ）  Baseline: カメラ中心 C, C’ を繋がる直線  Epipolar plane  : baseline とシーンの中の点 X よ り決定された平面 from Hartley & Zisserman baseline エピボラ平面

8 エピボーラライン（ Epipolar Lines ）  Epipolar lines l, l’: epipolar plane  と画像 面との交線  Epipoles e, e’: baseline と画像面との交点 C C’C’ from Hartley & Zisserman エピボラ平面 ベースライン Epipolar line エピボラライン Epipolar line Epipole エピホール Epipole

9 Epipolar Pencil  X の位置を変化すると、 epipolar planes は baseline の周りに “ rotate ” このような平面集合を epipolar pencil と呼ぶ  Epipolar lines は epipole から “ radiate ” これは pencil of epipolar lines と呼ぶ from Hartley & Zisserman epipolar pencil エピボラペンシール pencil of epipolar line

10 エピポーラ拘束 O O エピポール エピポーラ線 エピポーラ拘束

11 エピボーラ拘束（ Epipolar Constraint ）  エピボラ幾何より、片方の画像内の一点は必 ずもう一方の画像内のエピボラ直線（１Ｄ） 上存在 from Hartley & Zisserman C C’C’ x’x’ 一点 エピボラ直線

12 例： Epipolar Lines for Converging Cameras from Hartley & Zisserman Left viewRight view epipolar lines の交線 = Epipole ! 他方のカメラ中心の位置を表す ロボット・カメラの移動軌跡の推定

13 特例 : Translation Parallel to Image Plane カメラの運動が画像面と平行 する場合、 ・ epipolar lines は平行（エピホールは無限遠） ・対応点は対応 epipolar line 上に存在 ( 全種類のカメラ運 動 )

14 特例 : Translation along Optical Axis カメラの運動が画像平面と垂直：  Epipoles は focus 延長線上に一致  一般的に、無限遠点と異なる e e’

15 ステレオから 3 眼視へ  エピボラ幾何より、片方の画像内の一点はかなら ずもう一方の画像内のエピボラ直線（１Ｄ）上存 在 C C’C’ x’x’ 対応付け： 左側の画像上の 1 点 右側の画像上の一本の直線 点  直線 曖昧性が残っている

16 Transfer: epipolar transfer Using more cameras to remove match ambiguity 点点点点 点  直線

17 3 眼視

18 透視カメラのエピポーラ幾何  複数のカメラの関係や対象物との関係を考え るために、何か基準となる座標系を考えなけ ればならない（各カメラの座標系を元に考え るのではない）  すべてのカメラや対象物に対して共通に決め られた座標のことをワールド座標 ( world coordinates ) と呼ぶ（ワールド座標を一つ決め る）  ワールド座標を基準に考えなければならない

19 Coordinate Transformations 座標変換  If we want to measure something ( size of an object, depth of image points, distance between features …… ), we need to understand the geometry from image to world Coordinate system transformations Image (i)  camera (c)  world (w)  object (o) xcxc zczc ycyc yiyi xixi xwxw zwzw ywyw xoxo zozo yoyo Oc Oi Ow Oo

20 行列・ベクトルの外積

21 幾何変換 Geometric transformation

22 基本行列 ( Essential matrix )  ２カメラ間の姿勢と位置： R : 3*3 rotation matrix t : 3*1 translation vector  p と p’ が対応点同士なら： ⇒ 即ち ：同一平面内の三つのベクトルから二つのベクトルの外 積と残るもう一つのベクトルの内積は０となる エピボラ方程式 基本行列（Ｅ行列） ★ Ｅが求まれば、 t とＲに分解することができ る 前提： p と p’ は画像座標から計算 された物理 ( カメラ ) 座標である （ カメラの内部パラメータ既 知 ）

23 基礎行列（ Fundamental matrix ）  内部パラメータが未知、画像座標 x しか分からな い 画像座標 x と物理（カメラ）座標 p の関係： x=Kp, x’=K’p’ ⇒ p=K -1 x, p’=K’ -1 x’ ( K,K’ are the camera calibration matrix)  基本行列から : p’ T Ep=0 ⇒ x’ T K’ -T EK -1 x=0 ⇒ x’ T Fx=0 F= K’ -T EK -1 基礎行列 （Ｆ行列） ● 基礎行列はカメラの内部パラメータと外部パラ メータの双方を含んでいる

24 基礎行列 F の性質 1  x’ T Fx=0  x=e の場合 (e is epipole) : x’ T Fe=0, ∀ x’ ( ∵全ての epipolar lines は epipole の所に交叉 ) ⇒ Fe = 0  x’=e’ の場合 (e’ is epipole) : e’ T Fx =0, ∀ x ⇒ e’ T F = 0 ⇒ F T e’ = 0 ● Ｆ行列が与えられれば、 e と e’ はそれぞれＦ T F とＦＦ T の最も小さい固有値に対応する固 有ベクトルとして求められる

25  片方の画像内の点 x がもう一方の画像内 epipolar line l’ 上に対応付けることは： l’ = F x  この point-on-line の関係は l’ T Fx = 0 より決定 され、 l’ T Fx = (Fx) T l’ = 0 の関係も成り立 つ  F is 3 x 3, rank 2 ( 逆行列が求められない） 基礎行列 F の性質 2 linepoint

26 ホモグラフィ（ Homography ） O O もう一方のカメラでは、 画像上のどこに投影されるのか？ ？ 空間中の対象点が全て同一平面内に存在する場合

27 ホモグラフィ（ Homography ） O O ホモグラ フィー

28 Homography  x’=Hx 空間内平面と画像間の投影  ホモグラフィ行列 H の自由度： 8  一対の対応点 (x,y,1) ⇔ (x’,y’,1) より、二つの方程式が得られ る  4 組み以上の対応点 (n>=4) が分かれば、Ｈが唯一に決定でき る (linear in h ij )

29 ホモグラフィ

30 Homographies for Bird’s-eye Views from Hartley & Zisserman

31 Homographies for Mosaicing from Hartley & Zisserman

32 Homographies for Mosaicing 複数枚の画像より広視野の画像を合成

33 Applying Homographies to Removing projective distortion select four points in a plane with know coordinates (linear in h ij )

34 出席チェック １．エピボーラ幾何の原理図を描き、その原 理について述べなさい