全方位ステレオ画像センサによる 実環境の仮想環境への取り込み

Presentation on theme: "全方位ステレオ画像センサによる 実環境の仮想環境への取り込み"— Presentation transcript:

1 全方位ステレオ画像センサによる 実環境の仮想環境への取り込み
戎野 聡一 山澤 一誠 竹村 治雄 横矢 直和 奈良先端科学技術大学院大学

2 研究の背景 広大な実環境を仮想環境内に 再構成する要求が高まっている 実環境の仮想環境内での表現手法 イメージベーストレンダリング
蓄積画像から2D画像を提示 自由な視点移動が困難 ポリゴンベーストレンダリング 視点移動が容易 ３次元モデルの獲得が必要 はじめに　研究の背景です。 近年広大な実環境を仮想環境内で、再現する必要性がたかまっています。 都市環境を仮想環境内で表現する方法には、大きくIBRとPBRに、 分けることができます。 IBRの手法はあらかじめ現実世界の情景をさまざまな視点からの 実写画像として蓄積しておき、視点の移動に応じた画像をそのまま提示するため写実性は高い．しかし，この手法は撮影された範囲でしか視点を動かすことができず，自由な視点移動が困難であるという問題が生じる． 一方，PBRの手法は一旦，対象物体の3次元モデルを獲得できれば，任意視点からの観察が可能な 仮想物体として扱うことができ，蓄積するデータ量も小さいという特徴がある． しかし，正確な3次元モデルを獲得することは極めて困難な問題となっており従来より、さまざまな研究が行なわれてきている．

3 従来の研究 ステレオ視 利点：計測対象が制限されない 欠点：計測対象が複数になると画像収集に多大な労力が必要 計測精度がカメラ間の距離に依存
実環境中の物体の形状を求める方法で、代表的なものがステレオ視であります。 ステレオ視は，異なる視点から同一の対象を観測し，それぞれの画像上への投影位置 の違いから，対象の奥行き情報を得る手法である これには、計測範囲が制限されないという利点があり、都市環境内での 使用に適しています。 しかし、距離に対する信頼性が乏しく、また、対象物体が複数になると他視点からの画像 を収集するのに多大な労力を必要とします。

4 本研究の目標と方針 画像の収集に多大な労力を必要とする問題 広大な実環境をポリゴンベーストレンダリングの表現方法を用いて３次元再構築する
全方位ステレオ画像センサを車に搭載して移動 計測精度がカメラ間の距離に依存 二眼ステレオ視の距離とセンサを車に搭載し移動した際の モーションステレオ視による距離を統合 そこで、本研究では、広大な実環境を仮想環境内でポリゴンベースドレンダリングの表現方法を用いて３次元再構築することを目標に 従来都市環境を仮想環境内に構築するのに必要な他 視点からの画像収集の労力を書く決するために全方位ステレオ画像センサを車に搭載し、移動しながら撮影することで画像収集の労力を多大さを軽減させました。 また２眼ステレオ視の距離に対する信頼性の乏しさを

5 六角錐ミラーを用いた全方位ステレオ画像センサ
そこで、我々は６角錐ミラーを用いた全周ステレオ画像センサを開発しています。 本センサは、上部、下部それぞれの６個のカメラが６角錐ミラーを覗き込み、その得られた画像を連結して全周画像を得ます。 この時、６個のカメラのレンズ中心が虚像上で重なるため得られる全周画像は光学上一点透視投影の画像です。 また、６角錐ミラーを上下に組み合わせることで、ステレオ撮像が可能であり、全周囲の奥行き情報を取得できます 構成 外観

6 六角錐ミラーを用いた 全方位ステレオ画像センサの特徴
センサ周囲の情景を高分解能で撮像可能 全周囲の情景をビデオレートで撮像可能 奥行き情報を獲得可能 センサのキャリブレーションが難しい （円筒スクリーンに格子を投影してカメラ画像を調整 戎野ら， VR学会 第4回全国大会 ’９９） よって、６角錐ミラーを用いた全周ステレオは他の全周画像センサにくらべて、センサ周囲の情景を高分解に撮像できる。 そして、全周囲の情景を一度に撮像し同時に奥ゆき情報を取得できます。 ただし、このセンサは高分解能な全周画像を取得する目的で複数のカメラの画像を連結して生成しているため各カメラの調整が十分でないと隣接するカメラ画像間で視覚的に不連続になったり、上下カメラ間でエピポーラ線が一致しない問題がある。 よってセンサを精巧にキャリブレーションする必要があります 本センサを移動させながら撮影を行うことで 効率良く実環境の画像を収集できる

7 本研究の目標と方針 画像の収集に多大な労力を必要とする問題 広大な実環境をポリゴンベーストレンダリングの表現方法を用いて３次元再構築する
全方位ステレオ画像センサを車に搭載して移動 計測精度がカメラ間の距離に依存 二眼ステレオ視の距離と車に搭載し移動した際の モーションステレオ視による距離を統合 そこで、本研究では、広大な実環境を仮想環境内でポリゴンベースドレンダリングの表現方法を用いて３次元再構築することを目標に 従来都市環境を仮想環境内に構築するのに必要な他 視点からの画像収集の労力を書く決するために全方位ステレオ画像センサを車に搭載し、移動しながら撮影することで画像収集の労力を多大さを軽減させました。 また２眼ステレオ視の距離に対する信頼性の乏しさを

8 二眼ステレオとモーションの距離の統合（提案手法）
全方位ステレオ動画像 時系列逆方向へ特徴点追跡 上下ステレオ間の 対応点探索 時系列方向へ特徴点追跡 センサの移動量推定 センサの移動量推定 特徴点の距離推定 特徴点の距離推定 特徴点の距離推定 提案手法の説明 提案手法では、まず全周パノラマ画像を生成いたしました・ つぎにパノラマ動画像のあるフレームに注目し、 その時刻に対応する上下のパノラマ画像間で２眼ステレオ視を行います。 そしてステレオ視を行ったフレームを基準にしてステレオ視を行い、距離情報を 作成し 次にステレオ視を行ったフレームを基準にして時系列方向方向の 前後フレームに渡って特徴点のオプティカルフローを求めます。 選られたモーションステレオによる距離、ステレオ視による距離を統合することで 信頼性の高い距離情報のみを得ます。 また 提案手法では、時系列逆方向にも同様の処理を行い、 １つの特徴点に対し、３つの距離情報を統合することで、さらに信頼性の高い情報を抽出いたします。 逆モーションステレオ視の距離 二眼ステレオ視による距離 モーションステレオ視の距離 ステレオとモーションの距離の統合

9 二眼ステレオ投影系 上部全周パノラマ画像 上下のパノラマ画像間の 二眼ステレオ視 o 下部全周パノラマ画像 ワールド円筒座標系 Ｐ
ステレオマッチング 正規化相互相関テンプレートマッチング o 本センサは、上部カメラ画像からのパノラマ画像と下部パノラマ画像を生成し ます。 かりに対象物体をPとすると上部パノラマ画像の画像上の位置と下部パノラマ画像上の位置の差 いわゆる視差の大きさで距離を測定するものです。 この対応づけ処理には、正規化相互相関を類似度尺度にしたテンプレートマッチングを用いました。 これにより全方位の距離を測定できます。 二眼ステレオ視による距離 下部全周パノラマ画像 ワールド円筒座標系

10 二眼ステレオとモーションの距離の統合（提案手法）
全方位ステレオ動画像 時系列逆方向へ特徴点追跡 上下ステレオ間の 対応点探索 時系列方向へ特徴点追跡 センサの移動量推定 センサの移動量推定 特徴点の距離推定 特徴点の距離推定 特徴点の距離推定 提案手法の説明 提案手法では、まず全周パノラマ画像を生成いたしました・ つぎにパノラマ動画像のあるフレームに注目し、 その時刻に対応する上下のパノラマ画像間で２眼ステレオ視を行います。 そしてステレオ視を行ったフレームを基準にしてステレオ視を行い、距離情報を 作成し 次にステレオ視を行ったフレームを基準にして時系列方向方向の 前後フレームに渡って特徴点のオプティカルフローを求めます。 選られたモーションステレオによる距離、ステレオ視による距離を統合することで 信頼性の高い距離情報のみを得ます。 また 提案手法では、時系列逆方向にも同様の処理を行い、 １つの特徴点に対し、３つの距離情報を統合することで、さらに信頼性の高い情報を抽出いたします。 逆モーションステレオ視の距離 二眼ステレオ視による距離 モーションステレオ視の距離 ステレオとモーションの距離の統合

11 特徴点追跡にはテンプレートマッチングを使用する
モーションステレオ投影系 三角測量の原理から実環境 中の距離を推定できる センサの移動量を求める必要がある 特徴点追跡にはテンプレートマッチングを使用する センサの移動量

12 二眼ステレオとモーションの距離の統合（提案手法）
全方位ステレオ動画像 時系列逆方向へ特徴点追跡 上下ステレオ間の 対応点探索 時系列方向へ特徴点追跡 センサの移動量推定 センサの移動量推定 特徴点の距離推定 特徴点の距離推定 特徴点の距離推定 提案手法の説明 提案手法では、まず全周パノラマ画像を生成いたしました・ つぎにパノラマ動画像のあるフレームに注目し、 その時刻に対応する上下のパノラマ画像間で２眼ステレオ視を行います。 そしてステレオ視を行ったフレームを基準にしてステレオ視を行い、距離情報を 作成し 次にステレオ視を行ったフレームを基準にして時系列方向方向の 前後フレームに渡って特徴点のオプティカルフローを求めます。 選られたモーションステレオによる距離、ステレオ視による距離を統合することで 信頼性の高い距離情報のみを得ます。 また 提案手法では、時系列逆方向にも同様の処理を行い、 １つの特徴点に対し、３つの距離情報を統合することで、さらに信頼性の高い情報を抽出いたします。 逆モーションステレオ視の距離 二眼ステレオ視による距離 モーションステレオ視の距離 ステレオとモーションの距離の統合

13 特徴点追跡の問題点 カメラ間の境界 カメラのつなぎ目を境にして色・輝度が変化する

14 各カメラの色・輝度パラメータの違いに影響されない 正規化相互相関テンプレートマッチング
カメラ間の境界 各カメラの色・輝度パラメータが違うため同じ情景を撮像しても各カメラ画像で明度変化が起きる カメラ間の境界の位置が既知である 境界 境界 境界 境界 境界

15 テンプレート分割法（１） ｔ+1 ｔ (x,y) (X,Y) 境界 境界 探索ウインドウ 基準ウインドウ r1 r2 r1 r2
Case:１ 探索ウインドウにカメラ間の切れ目がかかっているとき ｔ+1 基準画像 ｔ 参照画像 (x,y) (X,Y) 境界 境界 探索ウインドウ 基準ウインドウ 相関値が知りたい r1 r2 r1 r2

16 テンプレート分割法（２） ｔ ｔ+1 (x,y) (X,Y) 境界 境界 r1 r2 r1 r2 基準ウインドウ
Case:２ 基準ウインドウにカメラ間の切れ目がかかっているとき 参照画像 基準画像 ｔ ｔ+1 (x,y) (X,Y) 境界 境界 r1 r2 r1 r2 相関値が知りたい 基準ウインドウ 探索ウインドウ

17 テンプレート分割法（３） ｔ+1 ｔ (x,y) (X,Y) 境界 境界 r1 r2 r3 r1 r2 r3
Case:3 基準ウインドウ、探索ウインドウ共にカメラ間の切れ目がかかっているとき ｔ+1 基準画像 ｔ 参照画像 (x,y) (X,Y) 境界 境界 相関値が知りたい r1 r2 r3 r1 r2 r3

18 カメラの色・輝度パラメータの違いを考慮 した正規化相互相関
基準ウインドウ 探索ウインドウ ｘ ｘ 正規化相互相関 ｙ ｙ カメラ画像毎にウインドウを部分画像に区切り、 部分画像毎に色・輝度の線形な明度変化を吸収する

19 二眼ステレオとモーションの距離の統合（提案手法）
全方位ステレオ動画像 時系列逆方向へ特徴点追跡 上下ステレオ間の 対応点探索 時系列方向へ特徴点追跡 センサの移動量推定 センサの移動量推定 特徴点の距離推定 特徴点の距離推定 特徴点の距離推定 提案手法の説明 提案手法では、まず全周パノラマ画像を生成いたしました・ つぎにパノラマ動画像のあるフレームに注目し、 その時刻に対応する上下のパノラマ画像間で２眼ステレオ視を行います。 そしてステレオ視を行ったフレームを基準にしてステレオ視を行い、距離情報を 作成し 次にステレオ視を行ったフレームを基準にして時系列方向方向の 前後フレームに渡って特徴点のオプティカルフローを求めます。 選られたモーションステレオによる距離、ステレオ視による距離を統合することで 信頼性の高い距離情報のみを得ます。 また 提案手法では、時系列逆方向にも同様の処理を行い、 １つの特徴点に対し、３つの距離情報を統合することで、さらに信頼性の高い情報を抽出いたします。 逆モーションステレオ視の距離 二眼ステレオ視による距離 モーションステレオ視の距離 ステレオとモーションの距離の統合

20 二眼ステレオとモーションによる距離の差を評価値に 非線型最適化問題を解くことによってセンサの移動量を推定
センサの移動量推定 正しい対応関係をもつ特徴点の情報は大部分が正しいと仮定できる センサの移動量 正しい対応関係を持つ特徴点 ？ 二眼ステレオ視による距離 モーションによる距離 二眼ステレオとモーションによる距離の差を評価値に 非線型最適化問題を解くことによってセンサの移動量を推定

21 整合のとれた特徴点の選択 下部パノラマ画像 上部パノラマ画像 下部パノラマ画像 上部パノラマ画像 ステレオ対応 センサの移動 ステレオ対応
移動後 移動前 オプティカルフロー 下部パノラマ画像 上部パノラマ画像 下部パノラマ画像 上部パノラマ画像 ステレオ対応 センサの移動 ステレオ対応 オプティカルフロー

22 二眼ステレオとモーションの距離の統合（提案手法）
全方位ステレオ動画像 時系列逆方向へ特徴点追跡 上下ステレオ間の 対応点探索 時系列方向へ特徴点追跡 センサの移動量推定 センサの移動量推定 特徴点の距離推定 特徴点の距離推定 特徴点の距離推定 提案手法の説明 提案手法では、まず全周パノラマ画像を生成いたしました・ つぎにパノラマ動画像のあるフレームに注目し、 その時刻に対応する上下のパノラマ画像間で２眼ステレオ視を行います。 そしてステレオ視を行ったフレームを基準にしてステレオ視を行い、距離情報を 作成し 次にステレオ視を行ったフレームを基準にして時系列方向方向の 前後フレームに渡って特徴点のオプティカルフローを求めます。 選られたモーションステレオによる距離、ステレオ視による距離を統合することで 信頼性の高い距離情報のみを得ます。 また 提案手法では、時系列逆方向にも同様の処理を行い、 １つの特徴点に対し、３つの距離情報を統合することで、さらに信頼性の高い情報を抽出いたします。 逆モーションステレオ視の距離 二眼ステレオ視による距離 モーションステレオ視の距離 ステレオとモーションの距離の統合

23 モーションとステレオ距離の統合 P P ３つの距離の平均 P P 逆モーションステレオ 二眼ステレオ モーションステレオ

24 モーションとステレオ距離の統合 P ステレオ視に近い モーションの距離 P P P 逆モーションステレオ 二眼ステレオ モーションステレオ

25 距離情報をもつ特徴点が偏って分布するため
モーションとステレオ距離の統合 距離情報をもつ特徴点が偏って分布するため 均等に距離情報を付加する必要がある 統合された距離情報を持つ特徴点 二眼ステレオ視の距離情報を付加する点 モーションステレオの距離情報を付加する点

26 実験環境 移動撮影システム： 撮影環境 ： 住宅街 １２台のビデオデッキ シンクジェネレータ タイムコードジェネレータ
で、本研究の達成したいこととしまして、周辺環境を取り込むことがありまして、 これは１２面を車に搭載して移動することで広範囲の屋外環境を一度に取得可能にすることを目指しています。 それともう一つは実環境を出来るだけ詳細にモデル化して、ユーザにある程度自由に移動できるようにすることを目指しています。 撮影環境 ： 住宅街

27 実験条件 入力画像 画像サイズ ７２０×４８６（画素） × １２（カメラ） 生成した全周ステレオ動画像
６０フレーム（約２秒間）， 画像サイズ ３００６×３３０（画素） 特徴点の選択 Sobelフィルターを使用， しきい値は経験的に決定 オプティカルフロー ３０フレームを基点として ，前後３０フレームの間， 特徴点を追跡

28 実験結果 センサ移動量推定結果 デローニー三角分割法によるポリゴン生成結果 時系列方向 0.63m， 時系列逆方向 0.59m
総ポリゴン数 14,019 ポリゴン

29 まとめと今後の課題 まとめ 今後の課題 全方位ステレオ画像センサを使用することで効率良く画像を収集した
モーションステレオの距離情報を付加することで二眼ステレオ視による計測の信頼性を補った 今後の課題 剛体運動条件の付加 多地点モデルの統合

30 カメラ間の色・輝度変化に影響されない 正規化相互相関
ピクセル位置(x,y)および(u,v)を含む部分画像に平均輝度

31 全方位画像センサのキャリブレーション （川西らの手法）
レンズ歪み補正（Tsaiカメラキャリブレーション) 上下部カメラのレンズ中心が虚像上で重なるようにカメラを配置 隣接するカメラ画像間と上下カメラ画像間の位置あわせ ここで、本センサの調整し、距離画像を得た川西らが行った研究です。 最初にセンサに使用しているカメラが広角カメラ特有のレンズ歪みを起こしていたためTsaiのキャリブレーションを使用してそれを補正しました。 次に上下部カメラのレンズ中心を重ねるようにカメラを配置するよう調整し、隣接するカメラ画像間と上下カメラ画像間の位置あわせをおこなった。 またえらられた全周画像から円筒パノラマ画像を作成しました。これは任意方向の通常の一点透視投影画像に再変換できる特徴があります。またそれら上下の円筒パノラマ画像から全周距離画像を生成しました。 が、この隣接する画像間と上下カメラの位置あわせが十分でなかったため精度のよい距離画像を生成することはできませんでした。これは、カメラ画像の位置合わせを一点透視下の画像上で行い、隣接する画像間および上下の画像間での相対的な位置あわせで調整したため起こりました。 そこでそのカメラ画像の位置あわせに関して調整いたしました。 微細な調整なため、手作業による調整は困難

32 円筒型スクリーンを用いたキャリブレーション方法
カメラ画像の位置が一意に決定可能 円筒パノラマ画像上で調整するため画像位置あわせが容易 円筒型スクリーンの中心に画像センサを置き、スクリーンに格子を投影してセンサの調整を行います この手法の利点は、各カメラ間の連続性を得るよう調整するといった相対的な調整ではなく格子パターンを利用することで、画像切り出し位置が一意に決定できます。 また、川西らの調整が撮像画像上の通常の一点透視投影下で行ったのにくらべて円筒パノラマ画像上で調整するため位置合わせが容易であります。 これは、本センサを円筒スクリーンの中心に設置すると、円筒パノラマ型投影面と円筒スクリーン面が重なるからであります。 以下 提案するキャリブレーション法の手順を示します。

33 ステレオパラメータの決定 上部、下部横線の画像位置の差は、視差に等しい L：対象物体までの距離（メートル）
dis:上下カメラ間の対象物体の視差（画素) K：距離定数 ここまでで、カメラ画像の位置あわせは終了しましたが、この時センサ自体の視差と距離の関係を求めることができます。 このときの上部下部横線の撮像画像上での位置の差は円筒ディスプレイ上の半径分の視差に等しいので この式から撮影像画像上の対象物体の距離と視差の関係を導出できます 今、横線は円筒スクリーンの上に存在し、その横線の視差disを求めることが出来たので、この式のＬに円筒ディスプレイの半径をdisに横線の位置の差をいれることでセンサ固有の距離定数をもとめることができ。 撮像画像上の物体の視差から正確な距離を導出できます。 距離定数Kからパノラマ画像上の物体の距離を正確に推定可能

34 距離情報をもつ特徴点が偏って分布するために
モーションとステレオ距離の統合 時系列方向、時系列逆方向、ステレオ視による距離が近い ３つの距離の平均 時系列方向、時系列逆方向のモーションステレオによる距離のどちらか一方がステレオ視の距離に近い ステレオ視の距離に近いモーションの距離 距離情報をもつ特徴点が偏って分布するために 正しいモデルが出来ない場合がある 横方向のエッジ成分 二眼ステレオの距離 縦方向のエッジ成分 ＋ ２つのモーションの距離の差が小さい モーションの距離 さて、ここまでで、