多重フォーカスカメラと符号化開口を用いた実時間距離画像計測

Presentation on theme: "多重フォーカスカメラと符号化開口を用いた実時間距離画像計測"— Presentation transcript:

1 多重フォーカスカメラと符号化開口を用いた実時間距離画像計測
京都大学大学院　情報学研究科 日浦慎作*　松山隆司 （*現　大阪大学大学院　基礎工学研究科）

2 Depth from Defocus ぼけ量の解析から距離を求める手法 受動的原理 - リアルタイム計測の可能性
Depth from Focusing レンズを駆動し合焦点を探索 - 物理的駆動が介在するため実時間計測に向かない Depth from Defocus ぼけ量の解析から距離を推定 - 実時間計測が可能 機械的駆動部がない 単一画像の解析 「ぼけを含む平面的写真」と，「立体的な被写体」の区別が付かない 複数画像の相対解析 被写体のテクスチャによらず解析が可能 ぼけ量の解析から距離を求める手法 受動的原理 - リアルタイム計測の可能性 小型・計量な計測装置の実現可能性 ２枚以上の異なるパラメータで得た画像から 距離を計算 (relative blurring analysis) （小型な多重フォーカスカメラが必要）

3 多重フォーカスカメラの構造 カラーCCDカメラを改造 各CCDを1mmづつ 光軸方向に移動 プリズムの再蒸着に よる分光特性の除去

4 テレセントリック光学系 前焦点面に開口絞りを配置 像面間の像の大きさ／明度が等しく， ぼけ量だけが異なる
通常の結像光学系 テレセントリック光学系 前焦点面に開口絞りを配置 像面間の像の大きさ／明度が等しく， ぼけ量だけが異なる DFD への応用：Nayar ら　（参考文献 [7]）

5 Depth from Defocus の問題点
ぼけ現象(=LPF)により画像上の情報が欠落 距離計測の安定性が低く，高品質な（ノイズの少ない）画像が必要 例：Nayar らは ２５６ 枚の画像を入力／加算 テクスチャの種類や機器の調整に敏感 ぼけ現象の性質を，解析に適するように最適化すれば，安定性が向上する可能性がある →瞳形状の構造化

6 構造化瞳を持つ 多重フォーカスカメラの構成要素
ぼけカーネルは瞳形状と相似な図形 カーネルの縮小率は被写体距離に応じて変化

7 構造化瞳を持つ多重フォーカスカメラ

8 ぼけの生成過程 ぼけ生成の数学モデル 合焦点 v 入力画像 i1(x,y) 入力画像 i2(x,y) 入力画像 i3(x,y) 畳み込み
原画像 s(x,y) 距離 u k1倍縮小 k2倍縮小 k3倍縮小 Ｗｍ：像面の位置 ぼけカーネル a(x,y)

9 フーリエ変換を用いた距離推定 ぼけ生成過程のフーリエ変換 複数入力画像を用いた原画像成分の消去 距離推定のための評価関数
すべての入力画像の組み合わせについて， 入力画像同士を除算したもの（第１項）と， ぼけモデル（第２項）の差が最小になるような v（焦点の位置）の値を探索する p, q：　空間周波数，　v：　焦点の位置 除算により共通因子（入力画像成分）が消去される

10 処理の流れ 残差の最小化→距離の推定 小領域切り出し＆FFT 除算による原画像成分の除去

11 原画像の復元 逆フィルタ計算 複数の画像から復元するため安定 ぼけカーネルが構造化されており，原画像の情報が残存しているため復元が可能
v：合焦点の位置　Wm：vから計算した重み

12 開口形状に求められる性質(1) ゲイン 空間周波数 空間周波数特性が構造を持ち解析しやすい ぼけが大きくても高周波ゲインが落ちない

13 開口形状に求められる性質(2) 通常用いられる円形開口は，必ずしも適した開口形状であるとはいえない（美しいぼけを生じさせるために円形を採用）

14 簡単な例：２ホール開口 ぼけカーネルのフーリエ変換は cos 関数 cos 関数の周期は物体距離によって変化
ぼけカーネルの形状（ホール直径を無視） ぼけカーネルの１次元フーリエ変換 ぼけカーネルのフーリエ変換は cos 関数 cos 関数の周期は物体距離によって変化

15 距離推定の安定性 距離値のずれに関する評価関数の変化 急峻な谷状の形状は，距離推定の安定性が高いことを示す

16 実験：入力画像 最後面CCD 中央CCD 最前面CCD

17 実験：復元された完全合焦画像

18 実験：復元された対象の形状 対象の三次元形状 完全合焦画像（部分）

19 畳み込みを利用した距離解析 画像の差が最小に なるような距離値を 探索する 光学的な畳込みと同じ 大きさのぼけを反対に 施すと，同一の画像が
原画像にぼけカーネルが 光学的に畳み込まれる 画像の差が最小に なるような距離値を 探索する 光学的な畳込みと同じ 大きさのぼけを反対に 施すと，同一の画像が 得られる（畳込み演算 の可換性より） 通常の円形開口のような 単純な瞳形状を用いた場 合，距離の推定は困難 （例：ガウスぼけを２回施す 演算は，より大きな単一の ガウスぼけと等価である） →構造化瞳の有効性

20 実験 距離 画像 入力画像 計測シーン

21 瞳形状の対称性 合焦点の前後で 畳み込まれる形 状が異なる （位相の相違） 距離の誤推定を減少することができる 原点対称ではない 瞳形状

22 瞳形状の対称性と計測精度 入力画像

23 入力画像の記録を用いた動物体計測 ビデオディスクレコーダにRGB画像として記録

24 計測結果：指の動作 入力画像 距離画像

25 画像処理ハードウェアによる実時間計測 畳込みによる距離計測手法は，ハードウェアへの実装が容易
並列画像処理ハードウェア IMAP-Vision を用いて計算時間を計測 性能:256PE により計 10GIPS 理論上 25frames/sec の距離計算が可能 （現有ボードにRGB入力IFがないため，実測実験は行っていない）

26 まとめ 小型／計量な多重フォーカスカメラを製作 Depth from Defocus に構造化瞳を導入 安定な距離解析が可能となった
FFT を応用した距離計測／完全合焦画像復元 畳込みを応用した距離計測 低品質な画像が利用可能なため，記録画像の利用による動物体計測が実現できた ハードウェアにより実時間計測が可能である