カメラキャリブレーション（校正） 実世界のカメラとカメラモデルとの対応付け

Presentation on theme: "カメラキャリブレーション（校正） 実世界のカメラとカメラモデルとの対応付け"— Presentation transcript:

1 第４回　 カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp

2 カメラキャリブレーション（校正） 実世界のカメラとカメラモデルとの対応付け
第４回　 カメラキャリブレーション カメラキャリブレーション（校正） 実世界のカメラとカメラモデルとの対応付け　

3 カメラ座標系→ディジタル画像座標系 ピンホールカメラモデルを利用 ～　針穴写真機 X Y Z

4 ピンホールカメラモデルの線形近似-３ アフィン投影(affine projection): 各線形近似投影の一般化
第３回　 CVにおけるエピポーラ幾何 ピンホールカメラモデルの線形近似-３ アフィン投影(affine projection): 各線形近似投影の一般化 　 x = a11X + a12Y + a13Z + a14 ｙ = a21X + a22Y + a23Z + a24

5 カメラキャリブレーション項目-１ 光学的キャリブレーション - シェーディング: 画像周辺部の明度低下
第４回　 カメラキャリブレーション カメラキャリブレーション項目-１ 　光学的キャリブレーション - シェーディング: 画像周辺部の明度低下 - ノイズ：　CCDの暗電流特性、感度特性 - カラー：　RGBの分光感度特性

6 第４回　 カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
光学的キャリブレーション シェーディング歪の補正 - cos4 Θ現象 　～　広角レンズにおける画像周辺部の明度低下 - 口径蝕現象 ～　光線の複数レンズ系での縁遮りによる明度低下 ノイズのモデル化と補正 ～　暗電流、熱雑音、回路ノイズ、量子化雑音 カラーキャリブレーション ～　分光感度特性、色収差

7 カメラキャリブレーション項目-２ 幾何学的キャリブレーション
第４回　 カメラキャリブレーション カメラキャリブレーション項目-２ 　幾何学的キャリブレーション - 外部パラメータ：　6 世界座標系におけるレンズの中心座標(t)、レンズ光軸の方向(R) - 内部パラメータ：　5 焦点距離、画像中心、画像（画素）サイズ、歪収差係数

8 ３（４）種類の座標系 画像座標系 ○ （一般）ディジタル画像座標系 カメラ座標系 世界座標系 ○正規化（ディジタル）画像座標系
第３回　 CVにおけるエピポーラ幾何 ３（４）種類の座標系 画像座標系 　○ （一般）ディジタル画像座標系 ○正規化（ディジタル）画像座標系 カメラ座標系　 世界座標系

9 世界座標系⇔カメラ座標系 （外部変数） カメラの外部変数（extrinsic parameters)： ６個
世界座標系⇔カメラ座標系 　　　　　（外部変数） カメラの外部変数（extrinsic parameters)：　６個 Ｓｍ’= PMｃ’ 　= PDMw’ ≡ PwMw’ 　（Pw=PD) (world coordinate system) RRt = RtR = I 又は D:剛体変換 (rigid transformation)

10 ディジタル画像座標系： 正規化カメラ⇔一般カメラ （内部変数）
ディジタル画像座標系： 正規化カメラ⇔一般カメラ 　　　　　　　　　　　　　（内部変数） 未知パラメータ　5個： 画像中心cの位置(u0,v0) 各軸のスケールと焦点 　距離fの積　αu αｖ 両軸の角度Θ （intrinsic parameters) 正規化画像座標系（ｆ＝１） カメラ校正 (camera calibration): カメラの内部変数を 推定すること

11 カメラキャリブレーション手順 幾何学的・光学的特性が既知の対象物を撮影
第４回　 カメラキャリブレーション カメラキャリブレーション手順 幾何学的・光学的特性が既知の対象物を撮影 対象物固有の特徴（特徴点の世界座標など）とその画像特徴（その特徴点の画像座標）を対応付け　 ～　エピポーラ幾何、知識、ヒューリスティクス カメラモデルに基づき、モデルパラメータを推定 　 ～　射影幾何、線形代数、数値解析、統計

12 Tsaiのキャリブレーション手法(1986) -1 世界座標(xw,yw,zw)⇒カメラ座標(x,y,z)
第４回　 カメラキャリブレーション 以前の標準的手法 　～　ソースオープン Tsaiのキャリブレーション手法(1986) -1 世界座標(xw,yw,zw)⇒カメラ座標(x,y,z) カメラ座標(x,y,z) 　⇒画像座標（理想ピンホール）(Xu,Yu) 歪係数推定:(Xu,Yu) ⇒ (Xd,Yd) ディジタル 画像座標: (Xd,Yd) ⇒ (Xf,Yf)

13 Tsaiのキャリブレーション手法-2 {(Xf,Yf) (xw,yw,zw)} ⇒ 5+6=１１個のパラメータ推定
第４回　 カメラキャリブレーション Tsaiのキャリブレーション手法-2 {(Xf,Yf) (xw,yw,zw)} ⇒ 5+6=１１個のパラメータ推定 ～　外部パラメータを先、内部パラメータを後に 推定することにより精度と計算速度を向上　 -回転行列（３） -平行移動ベクトル（３） -焦点距離（１） -レンズ歪係数（２） -スケール係数（１）:　既知（1.0） -画像中心（２）

14 Tsaiのキャリブレーション手法-3 校正点の画像より、各点の画像座標を決定
第４回　 カメラキャリブレーション Tsaiのキャリブレーション手法-3 校正点の画像より、各点の画像座標を決定 カメラ、A/D変換の仕様より、CCD素子数、走査線のサンプル数、CCD素子の間隔を推定 画像中心(Cx,Cy)を推定 (Xdi,Ydi)への変換 線形方程式を解き Tｙ-1r1 、 Tｙ-1r2 、 Tｙ-1Tx 、 Tｙ-1r4 、 Tｙ-1r5を算出　 Tｙ2を算出 Tｙの符号を決定 回転行列R決定 焦点距離f、Txの初期値決定 f, Tｚ,レンズ歪係数k1,k2を決定 fと画像サイズdx,dyの 独立決定は不可能

15 ＯｐｅｎＣＶでは：Z.Zhangの手法 ・複数平面上の座標が既知の格子点を利用 ・Ｔｓａｉの手法より安定・高精度
"A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): , 2000.

16 直方体の消失点の利用による焦点距離の推定
第４回　 カメラキャリブレーション 直方体の消失点の利用による焦点距離の推定 Ａ Ａ’ ２つの消失点A（a,b)、A’(a’,b’) 　⇒　f=(-aa’-bb’)-1/2

17 Ｎベクトル表現 f=(-aa’-bb’)-1/2 A（a,b) ⇒ mA(a, b, f)
第４回　 カメラキャリブレーション Ｎベクトル表現 A（a,b)　 ⇒ mA(a, b, f) A’（a’,b’)　⇒ mA’ (a’, b’, f) ( mA , mA’ ) = 0 より、 f=(-aa’-bb’)-1/2 P(x,y) ⇒ m(x, y, f)：原点からＰに向かうベクトル l:Ax+By+C=0 ⇒ n(A, B, C/f)：原点とｌが作る平面の法線ベクトル 方向ベクトルｍをもつ直線の像はNベクトルがｍの消失点を持つ

18 第2回　 CVのための画像センサ mutty@ics.kagoshima-u.ac.jp
収差の分類　

19 レンズ歪収差の校正 （糸巻き型） 澤田（１９８３？）： 格子点と画像座標の間の 変換関数を多項式（２次） 関数として推定
第４回　 カメラキャリブレーション レンズ歪収差の校正 （糸巻き型） 澤田（１９８３？）： 格子点と画像座標の間の 変換関数を多項式（２次） 関数として推定 Weng(1992): 画像座標の格子点(u,v) からの変化分(δu ,δｖ)を、 5個の歪パラメータ （放射状歪、中心ズレ、 薄いプリズム効果） でモデル化 δu=k1u(u2+v2) p1 u2 +p1v2 +2p2uv s1(u2+v2) δｖ=k1ｖ(u2+v2) p1uv +p2u2 +3p2v s2(u2+v2)

20 カメラキャリブレーション項目-3 ステレオカメラ間のキャリブレーション - E行列, F行列（内部、外部パラメータ）
第４回　 カメラキャリブレーション カメラキャリブレーション項目-3 ステレオカメラ間のキャリブレーション - E行列, F行列（内部、外部パラメータ）

21 PnP（透視ｎ点）問題 画像中のｎ点と物体上のｎ点を対応付ける ことにより、物体の位置・姿勢を推定する問題
第４回　 カメラキャリブレーション PnP（透視ｎ点）問題 画像中のｎ点と物体上のｎ点を対応付ける ことにより、物体の位置・姿勢を推定する問題 　（ｎ≧３） ～　最小画像枚数、最小点数？ Haralick(1991):6種類の解法の安定性評価 DeMenthon(1992):カメラモデル間の評価 Horn(1990), Faugeras(1990):複数解の 解析～（2枚、5対応点対） ・・・

22 第４回　 カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
既知対象物を用いないステレオ校正法 uncalibrated/weakly calibrated stereo 複数台のカメラ画像中の 　複数個の対応点対より校正を実施 - Roberts and Faugeras(1993): weakly calibrated :F行列のみ既知 Self-calibration ～ シーン中に存在する特徴を用い、 カメラの動きを利用して精度を高める -Basu(1993): active calibration

23 Ｅ行列（essential matrix：基本行列)
第３回　 CVにおけるエピポーラ幾何 Ｅ行列（essential matrix：基本行列) x、t、Rx~+tの３点が 同一epipolar plane上 （Ｒ，ｔ）-1 正規化カメラ xt（t×（Rx~+t））=0 xt （t×Rx~+t×t）=0 xt TRx~ =0 　　≡　E　（自由度５） 　　0 –ｔ3 ｔ2 　　ｔ3 ０ –ｔ１ 　　–ｔ２　ｔ１ ０ ×：外積 ・a×b=-b×a ・λa×b=a×λb 　　　　　　λ(a×b) ・ a×（b+ｃ）= 　 （a×b）＋（a×ｃ）

24 Ｅ行列（essential matrix：基本行列)
第３回　 CVにおけるエピポーラ幾何 Ｅ行列（essential matrix：基本行列) x、t、Rx~+tの３点が 同一epipolar plane上 （Ｒ，ｔ）-1 正規化カメラ xt（t×（Rx~+t））=0 xt （t×Rx~+t×t）=0 xt TRx~ =0 　　≡　E　（自由度５） 　　0 –ｔ3 ｔ2 　　ｔ3 ０ –ｔ１ 　　–ｔ２　ｔ１ ０ e~ e 2台のカメラ間の関係推定

25 F行列（fundamental matrix：基礎行列)
第３回　 CVにおけるエピポーラ幾何 F行列（fundamental matrix：基礎行列) 点対応からの F行列の推定： -中心射影：　 ８対　　　　　　　　非線形解法：７対） -アフィン射影：　４対 　Ｆの成分値を並べたベクトルf |f|=1 ，Zf=0 →　 　min|Zf|2　=min|fｔZｔZf|2 →　fはZｔZの最小固有値に対する固有ベクトル 対応点のディジタル画像座標系： m=Ax, m~ =A~x~ とすると xt Ex~ =0 （A-1 m ）t E （A~-1 m~ ）=0 m t （A-ｔ E A~-1 ） m~ =0 　　 　　　　　≡　F　（自由度７） epipole： 全てのmに対してm tＦe~＝０→ Ｆe~＝０，　同様にＦｔe＝０ 　 →　e~，eは各々，ＦｔＦ,　ＦＦｔの最小固有値に対する固有ベクトル

26 第４回　 カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
ステレオカメラ校正（既知物体利用） {(Xｌ,Yｌ)&(Xｒ,Yｒ) , (xw,yw,zw)}６組以上⇒ Yakimovsky法：　透視投影（変換）行列推定 　　　　　　　　　　　3×4， 自由度11，rank3 渡邊、久野(1985): ロボットハンドアイシステムの校正

27 変換行列の作成 （テニスプレー自動認識～ 清水大輔）
変換行列の作成 （テニスプレー自動認識～　清水大輔） 40cmごとに3点マークをつけたポールを30箇所配置 (X,Y,Z)　　・・・世界座標系 ・・・カメラ1(第1画面)の画像座標 ・・・カメラ2(第2画面)の画像座標

28 プロジェクタのキャリブレーション ピンホールカメラと同様にモデル化可能 カメラとは入出力が逆

29 ホモグラフィ(Homography) ma = Hba mb

30 第４回　 カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
CG・VR志向 Image-based rendering, Augumented realityに利用 ピンホールカメラモデルからの脱却 - Potmesil(1981): 薄凸レンズカメラモデルによるボケ効果付与 - Cook(1984): 分散光線追跡法による被写界深度効果、 アンチエイリアシング、運動ブレ表現 画像合成： - 和田(1996): 全方位背景画像の合成

31 ピンホールカメラモデルの拡張 ピンホールカメラモデル 薄凸レンズカメラモデル ～ 絞り・フォーカス変化によるボケ現象
第４回　 カメラキャリブレーション ピンホールカメラモデルの拡張 ピンホールカメラモデル 薄凸レンズカメラモデル ～　絞り・フォーカス変化によるボケ現象 厚凸レンズカメラモデル ～　ズーム・フォーカス変化によるレンズ位置変化

32 カメラモデルの拡張（模式図） f:焦点距離 d :開口径 w:レンズ・画像平面 間距離 ｌ:前主点・後主点間距離
第４回　 カメラキャリブレーション カメラモデルの拡張（模式図） f:焦点距離 d :開口径 w:レンズ・画像平面 　　間距離 ｌ:前主点・後主点間距離 主点：光軸に平行な 光線が入射、焦点に 結像する様子を１枚の レンズでモデル化した 際の光軸上のレンズ位置