Presentation is loading. Please wait.

Presentation is loading. Please wait.

カメラキャリブレーション(校正) 実世界のカメラとカメラモデルとの対応付け

Similar presentations


Presentation on theme: "カメラキャリブレーション(校正) 実世界のカメラとカメラモデルとの対応付け"— Presentation transcript:

1 第4回  カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp

2 カメラキャリブレーション(校正) 実世界のカメラとカメラモデルとの対応付け
第4回  カメラキャリブレーション カメラキャリブレーション(校正) 実世界のカメラとカメラモデルとの対応付け 

3 カメラ座標系→ディジタル画像座標系 ピンホールカメラモデルを利用 ~ 針穴写真機 X Y Z

4 ピンホールカメラモデルの線形近似-3 アフィン投影(affine projection): 各線形近似投影の一般化
第3回  CVにおけるエピポーラ幾何 ピンホールカメラモデルの線形近似-3 アフィン投影(affine projection): 各線形近似投影の一般化   x = a11X + a12Y + a13Z + a14 y = a21X + a22Y + a23Z + a24

5 カメラキャリブレーション項目-1 光学的キャリブレーション - シェーディング: 画像周辺部の明度低下
第4回  カメラキャリブレーション カメラキャリブレーション項目-1  光学的キャリブレーション - シェーディング: 画像周辺部の明度低下 - ノイズ: CCDの暗電流特性、感度特性 - カラー: RGBの分光感度特性

6 第4回  カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
光学的キャリブレーション シェーディング歪の補正 - cos4 Θ現象  ~ 広角レンズにおける画像周辺部の明度低下 - 口径蝕現象 ~ 光線の複数レンズ系での縁遮りによる明度低下 ノイズのモデル化と補正 ~ 暗電流、熱雑音、回路ノイズ、量子化雑音 カラーキャリブレーション ~ 分光感度特性、色収差

7 カメラキャリブレーション項目-2 幾何学的キャリブレーション
第4回  カメラキャリブレーション カメラキャリブレーション項目-2  幾何学的キャリブレーション - 外部パラメータ: 6 世界座標系におけるレンズの中心座標(t)、レンズ光軸の方向(R) - 内部パラメータ: 5 焦点距離、画像中心、画像(画素)サイズ、歪収差係数

8 3(4)種類の座標系 画像座標系 ○ (一般)ディジタル画像座標系 カメラ座標系 世界座標系 ○正規化(ディジタル)画像座標系
第3回  CVにおけるエピポーラ幾何 3(4)種類の座標系 画像座標系  ○ (一般)ディジタル画像座標系 ○正規化(ディジタル)画像座標系 カメラ座標系  世界座標系

9 世界座標系⇔カメラ座標系 (外部変数) カメラの外部変数(extrinsic parameters): 6個
世界座標系⇔カメラ座標系      (外部変数) カメラの外部変数(extrinsic parameters): 6個 Sm’= PMc’  = PDMw’ ≡ PwMw’  (Pw=PD) (world coordinate system) RRt = RtR = I 又は D:剛体変換 (rigid transformation)

10 ディジタル画像座標系: 正規化カメラ⇔一般カメラ (内部変数)
ディジタル画像座標系: 正規化カメラ⇔一般カメラ              (内部変数) 未知パラメータ 5個: 画像中心cの位置(u0,v0) 各軸のスケールと焦点  距離fの積 αu αv 両軸の角度Θ (intrinsic parameters) 正規化画像座標系(f=1) カメラ校正 (camera calibration): カメラの内部変数を 推定すること

11 カメラキャリブレーション手順 幾何学的・光学的特性が既知の対象物を撮影
第4回  カメラキャリブレーション カメラキャリブレーション手順 幾何学的・光学的特性が既知の対象物を撮影 対象物固有の特徴(特徴点の世界座標など)とその画像特徴(その特徴点の画像座標)を対応付け  ~ エピポーラ幾何、知識、ヒューリスティクス カメラモデルに基づき、モデルパラメータを推定   ~ 射影幾何、線形代数、数値解析、統計

12 Tsaiのキャリブレーション手法(1986) -1 世界座標(xw,yw,zw)⇒カメラ座標(x,y,z)
第4回  カメラキャリブレーション 以前の標準的手法  ~ ソースオープン Tsaiのキャリブレーション手法(1986) -1 世界座標(xw,yw,zw)⇒カメラ座標(x,y,z) カメラ座標(x,y,z)  ⇒画像座標(理想ピンホール)(Xu,Yu) 歪係数推定:(Xu,Yu) ⇒ (Xd,Yd) ディジタル 画像座標: (Xd,Yd) ⇒ (Xf,Yf)

13 Tsaiのキャリブレーション手法-2 {(Xf,Yf) (xw,yw,zw)} ⇒ 5+6=11個のパラメータ推定
第4回  カメラキャリブレーション Tsaiのキャリブレーション手法-2 {(Xf,Yf) (xw,yw,zw)} ⇒ 5+6=11個のパラメータ推定 ~ 外部パラメータを先、内部パラメータを後に 推定することにより精度と計算速度を向上  -回転行列(3) -平行移動ベクトル(3) -焦点距離(1) -レンズ歪係数(2) -スケール係数(1): 既知(1.0) -画像中心(2)

14 Tsaiのキャリブレーション手法-3 校正点の画像より、各点の画像座標を決定
第4回  カメラキャリブレーション Tsaiのキャリブレーション手法-3 校正点の画像より、各点の画像座標を決定 カメラ、A/D変換の仕様より、CCD素子数、走査線のサンプル数、CCD素子の間隔を推定 画像中心(Cx,Cy)を推定 (Xdi,Ydi)への変換 線形方程式を解き Ty-1r1 、 Ty-1r2 、 Ty-1Tx 、 Ty-1r4 、 Ty-1r5を算出  Ty2を算出 Tyの符号を決定 回転行列R決定 焦点距離f、Txの初期値決定 f, Tz,レンズ歪係数k1,k2を決定 fと画像サイズdx,dyの 独立決定は不可能

15 OpenCVでは:Z.Zhangの手法 ・複数平面上の座標が既知の格子点を利用 ・Tsaiの手法より安定・高精度
"A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11): , 2000.

16 直方体の消失点の利用による焦点距離の推定
第4回  カメラキャリブレーション 直方体の消失点の利用による焦点距離の推定 A’ 2つの消失点A(a,b)、A’(a’,b’)  ⇒ f=(-aa’-bb’)-1/2

17 Nベクトル表現 f=(-aa’-bb’)-1/2 A(a,b) ⇒ mA(a, b, f)
第4回  カメラキャリブレーション Nベクトル表現 A(a,b)  ⇒ mA(a, b, f) A’(a’,b’) ⇒ mA’ (a’, b’, f) ( mA , mA’ ) = 0 より、 f=(-aa’-bb’)-1/2 P(x,y) ⇒ m(x, y, f):原点からPに向かうベクトル l:Ax+By+C=0 ⇒ n(A, B, C/f):原点とlが作る平面の法線ベクトル 方向ベクトルmをもつ直線の像はNベクトルがmの消失点を持つ

18 第2回  CVのための画像センサ mutty@ics.kagoshima-u.ac.jp
収差の分類 

19 レンズ歪収差の校正 (糸巻き型) 澤田(1983?): 格子点と画像座標の間の 変換関数を多項式(2次) 関数として推定
第4回  カメラキャリブレーション レンズ歪収差の校正 (糸巻き型) 澤田(1983?): 格子点と画像座標の間の 変換関数を多項式(2次) 関数として推定 Weng(1992): 画像座標の格子点(u,v) からの変化分(δu ,δv)を、 5個の歪パラメータ (放射状歪、中心ズレ、 薄いプリズム効果) でモデル化 δu=k1u(u2+v2) p1 u2 +p1v2 +2p2uv s1(u2+v2) δv=k1v(u2+v2) p1uv +p2u2 +3p2v s2(u2+v2)

20 カメラキャリブレーション項目-3 ステレオカメラ間のキャリブレーション - E行列, F行列(内部、外部パラメータ)
第4回  カメラキャリブレーション カメラキャリブレーション項目-3 ステレオカメラ間のキャリブレーション - E行列, F行列(内部、外部パラメータ)

21 PnP(透視n点)問題 画像中のn点と物体上のn点を対応付ける ことにより、物体の位置・姿勢を推定する問題
第4回  カメラキャリブレーション PnP(透視n点)問題 画像中のn点と物体上のn点を対応付ける ことにより、物体の位置・姿勢を推定する問題  (n≧3) ~ 最小画像枚数、最小点数? Haralick(1991):6種類の解法の安定性評価 DeMenthon(1992):カメラモデル間の評価 Horn(1990), Faugeras(1990):複数解の 解析~(2枚、5対応点対) ・・・

22 第4回  カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
既知対象物を用いないステレオ校正法 uncalibrated/weakly calibrated stereo 複数台のカメラ画像中の  複数個の対応点対より校正を実施 - Roberts and Faugeras(1993): weakly calibrated :F行列のみ既知 Self-calibration ~ シーン中に存在する特徴を用い、 カメラの動きを利用して精度を高める -Basu(1993): active calibration

23 E行列(essential matrix:基本行列)
第3回  CVにおけるエピポーラ幾何 E行列(essential matrix:基本行列) x、t、Rx~+tの3点が 同一epipolar plane上 (R,t)-1 正規化カメラ xt(t×(Rx~+t))=0 xt (t×Rx~+t×t)=0 xt TRx~ =0   ≡ E (自由度5)   0 –t3 t2   t3 0 –t1   –t2 t1 0 ×:外積 ・a×b=-b×a ・λa×b=a×λb       λ(a×b) ・ a×(b+c)=   (a×b)+(a×c)

24 E行列(essential matrix:基本行列)
第3回  CVにおけるエピポーラ幾何 E行列(essential matrix:基本行列) x、t、Rx~+tの3点が 同一epipolar plane上 (R,t)-1 正規化カメラ xt(t×(Rx~+t))=0 xt (t×Rx~+t×t)=0 xt TRx~ =0   ≡ E (自由度5)   0 –t3 t2   t3 0 –t1   –t2 t1 0 e~ e 2台のカメラ間の関係推定

25 F行列(fundamental matrix:基礎行列)
第3回  CVにおけるエピポーラ幾何 F行列(fundamental matrix:基礎行列) 点対応からの F行列の推定: -中心射影:  8対        非線形解法:7対) -アフィン射影: 4対  Fの成分値を並べたベクトルf |f|=1 ,Zf=0 →   min|Zf|2 =min|ftZtZf|2 → fはZtZの最小固有値に対する固有ベクトル 対応点のディジタル画像座標系: m=Ax, m~ =A~x~ とすると xt Ex~ =0 (A-1 m )t E (A~-1 m~ )=0 m t (A-t E A~-1 ) m~ =0         ≡ F (自由度7) epipole: 全てのmに対してm tFe~=0→ Fe~=0, 同様にFte=0   → e~,eは各々,FtF, FFtの最小固有値に対する固有ベクトル

26 第4回  カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
ステレオカメラ校正(既知物体利用) {(Xl,Yl)&(Xr,Yr) , (xw,yw,zw)}6組以上⇒ Yakimovsky法: 透視投影(変換)行列推定            3×4, 自由度11,rank3 渡邊、久野(1985): ロボットハンドアイシステムの校正

27 変換行列の作成 (テニスプレー自動認識~ 清水大輔)
変換行列の作成 (テニスプレー自動認識~ 清水大輔) 40cmごとに3点マークをつけたポールを30箇所配置 (X,Y,Z)  ・・・世界座標系 ・・・カメラ1(第1画面)の画像座標 ・・・カメラ2(第2画面)の画像座標

28 プロジェクタのキャリブレーション ピンホールカメラと同様にモデル化可能 カメラとは入出力が逆

29 ホモグラフィ(Homography) ma = Hba mb

30 第4回  カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp
CG・VR志向 Image-based rendering, Augumented realityに利用 ピンホールカメラモデルからの脱却 - Potmesil(1981): 薄凸レンズカメラモデルによるボケ効果付与 - Cook(1984): 分散光線追跡法による被写界深度効果、 アンチエイリアシング、運動ブレ表現 画像合成: - 和田(1996): 全方位背景画像の合成

31 ピンホールカメラモデルの拡張 ピンホールカメラモデル 薄凸レンズカメラモデル ~ 絞り・フォーカス変化によるボケ現象
第4回  カメラキャリブレーション ピンホールカメラモデルの拡張 ピンホールカメラモデル 薄凸レンズカメラモデル ~ 絞り・フォーカス変化によるボケ現象 厚凸レンズカメラモデル ~ ズーム・フォーカス変化によるレンズ位置変化

32 カメラモデルの拡張(模式図) f:焦点距離 d :開口径 w:レンズ・画像平面 間距離 l:前主点・後主点間距離
第4回  カメラキャリブレーション カメラモデルの拡張(模式図) f:焦点距離 d :開口径 w:レンズ・画像平面   間距離 l:前主点・後主点間距離 主点:光軸に平行な 光線が入射、焦点に 結像する様子を1枚の レンズでモデル化した 際の光軸上のレンズ位置


Download ppt "カメラキャリブレーション(校正) 実世界のカメラとカメラモデルとの対応付け"

Similar presentations


Ads by Google