2つの平行光の観測による 内部カメラパラメータの安定なキャリブレーション

Slides:



Advertisements
Similar presentations
Absolute Orientation. Absolute Orientation の問題 二つの座標系の間における剛体 (rigid body) 変換を復元す る問題である。 例えば: 2 台のステレオカメラから得られた3次元情報の間の関 係を推定する問題。 2 台のステレオカメラから得られた3次元情報の間の関.
Advertisements

HBSP モデル上での 行列積を求めるアルゴリ ム 情報論理工学 吉岡健太.
ステレオ画像を用いた距離測定 小山高専 坪田 真延. Ⅰ. 概要  平行にずらした 2 つのステレオ画像を用いて 対象(人)物までの距離認識を行う。 図 1.1. 左から見た対象 ( 人 ) 物図 1.2. 右から見た対象 ( 人 ) 物.
1 徹底討論「主成分分析 vs 因子分析」 主成分分析は因子分析ではない ! 狩野裕 (大阪大学) 日本行動計量学会第 30 回大会 於:多摩大学.
自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
Determining Optical Flow. はじめに オプティカルフローとは画像内の明る さのパターンの動きの見かけの速さの 分布 オプティカルフローは物体の動きの よって変化するため、オプティカルフ ローより速度に関する情報を得ること ができる.
計測情報処理論(4) レンズの基礎.
コンピュータビジョン特論 第8回対象追跡 2006年11月22日 加藤丈和.
高精度画像マッチングを用いた SAR衛星画像からの地表変位推定
点対応の外れ値除去の最適化によるカメラの動的校正手法の精度向上
HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
静止背景における動物体の検出と追跡 陳 謙 2004年10月19日.
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
・力のモーメント ・角運動量 ・力のモーメントと角運動量の関係
Pattern Recognition and Machine Learning 1.5 決定理論
Nonrigid Structure from Motion in Trajectory Space
大阪工業大学 情報科学部 情報システム学科 宇宙物理研究室 B 木村悠哉
周期境界条件下に配置されたブラックホールの変形
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
多重フォーカスカメラと符号化開口を用いた実時間距離画像計測
透視投影(中心射影)とは  ○ 3次元空間上の点を2次元平面へ投影する方法の一つ  ○ 投影方法   1.投影中心を定義する   2.投影平面を定義する
東京工業大学    ○ 青木 康平 正 大西 有希 正 天谷 賢治 株式会社アールテック      清水 利恭 小杉 隆司 名古屋大学      礒田 治夫
寺尾 敦 青山学院大学社会情報学部 エクセルでの正規分布の グラフの描き方 寺尾 敦 青山学院大学社会情報学部
【小暮研究会2】 「ベイズのアルゴリズム」:序章 【1,2:計量経済分析と統計分析】 【 3:ベイズ定理】
寺尾 敦 青山学院大学社会情報学部 エクセルでの正規分布の グラフの描き方 寺尾 敦 青山学院大学社会情報学部
不安定な補償器を用いた 低剛性・高慣性比の 二慣性ねじり振動系における 外乱抑制制御性能の改善
小標本検査データを元にした 疲労破損率のベイズ推定
ガウス過程による回帰 Gaussian Process Regression GPR
第6章 カーネル法 修士2年 藤井 敬士.
第6章 連立方程式モデル ー 計量経済学 ー.
内視鏡画像からの奥行き情報提示による 視覚支援システムの開発
PCAからICAへ? 狩野裕+清水昌平 (大阪大学人間科学部) 日本行動計量学会:東京大学 平成12年10月.
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
視点移動カメラにおけるカメラキャリブレーション
モデルの逆解析 明治大学 理工学部 応用化学科 データ化学工学研究室 金子 弘昌.
位相カメラの進捗状況 京都大学修士1回 横山 洋海.
寺尾 敦 青山学院大学社会情報学部 エクセルでの正規分布の グラフの描き方 寺尾 敦 青山学院大学社会情報学部
第6章 特徴空間の変換 6.1 特徴選択と特徴空間の変換 6.2 特徴量の正規化 平成15年5月23日(金) 発表者 藤井 丈明
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
「R入門」  5.7 行列に対する諸機能  10月23日 (木) 発表者 大城亜里沙.
主成分分析 Principal Component Analysis PCA
内視鏡画像からの奥行き情報提示による 視覚支援システムの開発
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
パノラマ合成 電子制御工学科 4年 大久保卓也.
Thesis Supervisor: Katsushi Ikeuchi 池内克史
小型JASMINE計画の状況       矢野太平(国立天文台)       丹羽佳人(京大).
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
部分的最小二乗回帰 Partial Least Squares Regression PLS
Core Technology Center
Fourier 変換 Mellin変換 演習課題
Number of random matrices
文化財のデジタル保存のための 偏光を用いた透明物体形状計測手法
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
第4章 識別部の設計 4-5 識別部の最適化 発表日:2003年5月16日 発表者:時田 陽一
4. システムの安定性.
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
わかりやすいパターン認識 第7章:部分空間法  7.1 部分空間法の基本  7.2 CLAFIC法                  6月13日(金)                  大城 亜里沙.
第3章 線形回帰モデル 修士1年 山田 孝太郎.
過学習を考慮した IS1-60 AAMパラメータの選択と回帰分析による 顔・視線方向同時推定 顔・視線同時推定 研究背景
第9章 学習アルゴリズムとベイズ決定側 〔3〕最小2乗法とベイズ決定側 発表:2003年7月4日 時田 陽一
重みつきノルム基準によるF0周波数選択を用いた Specmurtによる多重音解析
低剛性・高慣性比の二慣性系の 外乱抑制制御問題に対して 任意の制御性能を達成する 不安定な補償器
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
制約付き非負行列因子分解を用いた 音声特徴抽出の検討
実験計画法 Design of Experiments (DoE)
パターン認識特論 カーネル主成分分析 和田俊和.
「データ学習アルゴリズム」 第3章 複雑な学習モデル 報告者 佐々木 稔 2003年8月1日 3.2 競合学習
市松模様を使用した カメラキャリブレーション
Fourier 変換 Mellin変換 演習課題
ランダムプロジェクションを用いた音響モデルの線形変換
Presentation transcript:

2つの平行光の観測による 内部カメラパラメータの安定なキャリブレーション 佐川立昌 八木康史 大阪大学 産業科学研究所

動機 推定された内部パラメータに満足してますか? 個人的な経験では... しかし... 焦点距離,主点位置 マーカを使ったキャリブレーション 試行のたびに5~10%は変動 しばしば発散 しかし... 再投影誤差は1ピクセル以下 焦点距離(=画角)が,なぜ不安定なのか? 外部パラメータと内部パラメータを同時に求めているから?

関連研究 立体的マーカ 平面マーカ 外部パラメータが回転成分のみ 特徴点が3次元的に分布 Tsai ’87, Faugeras ’93 平面上に特徴点が分布 平面の位置姿勢を変えて計測 Sturm ’99, Zhang ’00 外部パラメータが回転成分のみ 平行移動成分を除去 Hartley ’94, Stein ’95

内部・外部パラメータ 内部パラメータ K 外部パラメータ T R:回転行列,t:平行移動ベクトル 3次元点Mから画像点mへの射影

立体的マーカを用いたカメラ校正 コスト関数 Pを分解して内部パラメータKを推定 内部パラメータKの誤差を最小化しているわけではない マーカの3次元点Miの射影と,画像点miの誤差を最小化 Pを分解して内部パラメータKを推定 内部パラメータKの誤差を最小化しているわけではない

平面マーカを用いたカメラ校正 平面マーカとカメラ画像間のホモグラフィHを計算 r1とr2は正規直交 非線形最小化によって解を改善 K-TK-1を分解してKを計算 非線形最小化によって解を改善 内部パラメータKの誤差を最小化しているわけではない

回転のみの場合のカメラ校正 カメラから特徴点までの距離は無関係 回転行列Rjkの正規直交性からKKTを推定 非線形最小化 推定すべきパラメータから平行移動成分を除去 回転行列Rjkの正規直交性からKKTを推定 Hjk: j,k 番目の画像間のホモグラフィ行列 非線形最小化 回転行列Rがパラメータとして残っている

2つの平行光の観測による 内部カメラパラメータの校正 目的 コスト関数から外部パラメータを取り除き,最適な内部パラメータK を計算する 2つの平行光の観測 相対角は不変 拘束条件はカメラの 位置姿勢と無関係

相対角に関するコスト関数 相対角の計算 コスト関数 相対角既知の場合 相対角未知の場合 拘束条件に外部パラメータは含まれない

Hartley’94との違い ホモグラフィを計算しない 各画像の特徴点数は2点でよい 画像間の回転行列は不要 ホモグラフィには外部パラメータが含まれる 提案手法には,まったく外部パラメータが現れない 各画像の特徴点数は2点でよい Hartley’94ではホモグラフィを計算するために4点必要 画像間の回転行列は不要 相対角既知の場合でも,回転行列既知の必要はない

初期値の推定 Epara1,Epara2の最小化は非線形 部分的にパラメータを仮定し,初期値を推定 Epara1は以下のように簡単化される 初期値が必要 部分的にパラメータを仮定し,初期値を推定 w,hは画像の幅,高さ Epara1は以下のように簡単化される Ai,Bi,Ciはmi1,mi2,αから計算される

誤差と縮退の可視化 Epara1,Epara2は4変数を持つ d1i = 0, d2i = 0 は4次元曲面 解における断面図 各曲線は解において交差する 1点で交わらない→入力の誤差 曲線が平行→縮退

平行光の取得 遠方マーカ コリメート光 カメラの平行移動を無視可能 ○簡便 ×フォーカスの問題あり ピンホール+放物面鏡 平面マーカ製作と比べても簡単な手間 ×フォーカスの問題あり 十分絞ることができればOK コリメート光 ピンホール+放物面鏡 ○フォーカスの問題なし ×光学部品必要

相対角の計測方法 遠方マーカ 地図 誤差0.2度 カメラ+ターンテーブル 誤差0.01度 測量用セオドライト 誤差0.001度 コリメート光

シミュレーション実験(その1) 真値からパラメータを変化させる 結果 再投影誤差の増加を評価 増加大→ピクセル誤差に影響大 敏感 増加小→ピクセル誤差に影響小 鈍感(少々変わっても誤差に影響しない) 結果 Epara1は,fx,cxについて,従来手法よりも敏感 Epara2は,fxについて鈍感

シミュレーション実験(その2) 特徴点座標,相対角に誤差を加えて評価 結果 標準偏差0.1,0.5,1.0ピクセルのガウスノイズ マーカの位置には誤差なし 結果 Epara1はノイズに対して非常に安定 Epara2は従来手法から若干改善

実画像を用いた実験 ビデオカメラ:SONY HDR-FX1 遠方マーカ:ビルの角(距離300m) 画像10枚 事前に歪み補正 [高辻’05] 絞り最小,長時間露光 相対角 10.38度(カメラ+ターンテーブル) 画像10枚

実験結果 推定結果 fx = 631.33, fy = 747.67 cx = 390.64,cy = 263.45 誤差 0.14ピクセル

結論 内部パラメータのみを求める 課題 MATLABソースコード,サンプル 外部パラメータは一切,式に現れない 安定度は劇的に改善 相対角が既知の場合 相対角誤差を用いるべき 内部パラメータを知りたいときに,再投影誤差を用いるべきではない 従来手法ではマーカ精度が高くても内部パラメータ誤差は大きい 課題 どのような入力点を与えるべきか MATLABソースコード,サンプル http://www.am.sanken.osaka-u.ac.jp/~sagawa/index-j.html