パノラマ動画像モデルによる 仮想空間表現システムの研究

Presentation on theme: "パノラマ動画像モデルによる 仮想空間表現システムの研究"— Presentation transcript:

1 パノラマ動画像モデルによる 仮想空間表現システムの研究
パノラマ動画像モデルによる 仮想空間表現システムの研究 工学研究科　 電子情報エレクトロニクス講座　　画像工学分野 田渕 善久

2 はじめに 従来の多くの仮想空間システム →臨場感の欠如 CG利用(現実感が低い) 実写利用(視点固定、静止環境) 目的： 臨場感
手軽に利用可能 本研究はパノラマ動画像を利用する新しいVR (仮想現実空間表現)システムを提案

3 本研究の背景 本研究では3Dモデリング、マシンパワーを必要とせず、 （撮影時）視点移動可能な、臨場感のある環境を表現するシステムを提案
○ポリゴンベースVRシステム： ○イメージベースVRシステム： 幾何情報保持。仮想空間内での自由度が高い 臨場感を増すには緻密な三次元モデリングとモーションキャプチャが必要 複雑な環境を描画するにはマシンパワーが必要。既存の環境構築に不向き 実在する環境（実写）のパノラマ画像を利用 計算機パワーを要求しない現実感の高いシステムが実現可能。 視点の移動不可。静止環境のみ。 本研究では3Dモデリング、マシンパワーを必要とせず、 （撮影時）視点移動可能な、臨場感のある環境を表現するシステムを提案

4 従来研究 QuickTimeVR 全方位視覚センサ(Hyper Omni Vision) 静止画パノラマ利用。
パノラマ作成には、一台のカメラを回転して撮影→縫い合わせる 動画パノラマのリアルタイム作成には不向き。(複数台のカメラ) 全方位視覚センサ(Hyper Omni Vision) 独自設計の二葉双曲面ミラーを使用 座標変換計算は、画像内に格子を設け格子点のみ計算 ハードウェアテクスチャマッピング (Indigo2MaximumImpact) を利用

5 本研究の構成要素 1)イメージベース法 2)テーブル参照(3Dハードウェアを使わない) 3)動画像利用 4)球面ミラー利用

6 (1)イメージベース法 パノラマ画像 ディスプレイ 球面パノラマ画像（緯度経度座標系）を入力として、ディスプレイ上に仮想カメラ画像を表示
仮想カメラの視点 変換画像 イメージベース法による描画例

7 Mpegなどの既存の動画圧縮フォーマットを利用
(2)テーブル参照(3)動画形式 3Dハードウェアを利用しない 長所： 家庭用PCが利用可能 短所： 座標計算コスト大→ テーブル参照により計算コスト削減 ソフトウェアによる補間処理コスト大 Mpegなどの既存の動画圧縮フォーマットを利用 長所： 高速デコード、高圧縮な既存のライブラリが利用可能 短所： 無駄な転送領域が存在する。

8 座標変換式のテーブル化 座標変換式 ディスプレイ上の点からの対応点を求める →無駄な転送を避ける
カメラの向きに対する画面上の点と入力画像の参照点を計算 カメラ向き(α、β)ディスプレイ座標(x,y)　　　　球面座標（Θ、φ） ディスプレイ （Θ,Φ） （x,y） 入力画像 座標変換式 カメラの向きと独立 ディスプレイ上の点からの対応点を求める →無駄な転送を避ける

9 (3)球面ミラー 球面レンズ カメラ 1)2葉双曲面ミラー: 焦点を中心とする透視投影画像に容易に変換可能
パノラマ動画像作成 1)2葉双曲面ミラー:　焦点を中心とする透視投影画像に容易に変換可能 2)複数台のカメラ画像:　つなぎ合わせることで作成 3)球面ミラー:　光学特性が特殊。手軽に入手可能 球面ミラー カメラ 球面レンズ カメラを天井方向に向け、ミラーに映り込む映像を撮影 反射視線が一点に収束しない

10 球面ミラーの問題点 撮影時視野 仮想カメラ視野 撮影時と再生時で視線方向が異なる 仮想カメラの視線から入力画像への対応点を求めるのが困難
仮想カメラ視点 入力画像 撮影視点 撮影時と再生時で視線方向が異なる 仮想カメラの視線から入力画像への対応点を求めるのが困難

11 球面ミラーを利用するために 入力パノラマ画像は定点で観測されなくてはならない。 画素毎に距離情報が得られると
仮想空間内に単純な形状の壁を配置 擬似的に画素毎の距離情報を得る。 リサンプリングの回数が増すので、リアルタイム処理には向かない。 距離 壁 ミラー 入力画像 仮想カメラ

12 球面ミラーの利用手順 視界 1)入力画像の各画素に対する視線ベクトルから球ミラーでの反射ベクトルと与えた壁の交点を計算
2)仮想カメラの視線ベクトルと壁の交点を計算 3) 2)に対するピクセル値を1)の線形補間により計算 球面画像（緯度経度座標系）を作成 視界

13 システムの実装 前処理 描画システム 球面ミラー利用
距離情報は単純な形状(直方体、円柱)を3D空間に配置し、 ミラーによる反射視線との交点を利用。 動画圧縮は既存のフォーマットを利用(1/20～1/50程度) Bi-Linear補間実装 Windows上で動作。 DirectX、ActiveMovieライブラリを使用 マウスによる仮想カメラのパン、ズーム機能 256×256(24bitカラー)での描画 Windows標準のAVIファイルMpegを利用可能 Bi-Linear補間実装

14 システムデータフロー図 前処理部 CG 距離情報 補間処理 球面画像 動画圧縮 パノラマ動画ファイル パノラマ動画ファイル 実写ミラー画像
距離情報(部屋のサイズ カメラ位置) 前処理部 パノラマ動画ファイル 実写ミラー画像 距離情報 CG 球面画像 補間処理 動画圧縮 パノラマ動画ファイル

15 描画部 描画部 球面画像 動画展開 パノラマ動画ファイル マウス入力 座標変換テーブル 座標変換 補間処理 ディスプレイ 描画処理

16 （動作環境 WindowsNT/PentiumII 450x2）
実験例1(CG) （動作環境　WindowsNT/PentiumII 450x2）

17 実験2(部屋) 距離情報 (部屋のサイズ カメラ位置) 2ｍ 4ｍ Top View 2ｍ Side View

18

19 実験3 実写（自転車） 2ｍ １０ｍ Top View 2ｍ Side View １０ｍ

20

21 入力画像の問題点(1) 画面上方は解像度が低い (視野角/20Pixel)

22 入力画像の問題点(2) 動きが激しいとインターレースの影響で画面が荒れる。 NTSC動画取り込み DV機器(静止画取り込み)

23 まとめ 今後の課題 実写パノラマ動画像を利用可能な手軽な仮想空間表現システム 現在のシステムでは解像度が不足
プロトタイプを作成 CG及び実写を入力とする仮想空間を作成 今後の課題 現在のシステムでは解像度が不足 普及しつつあるDV動画取り込み機器を導入することで画質の向上を目指す 一つの入力画像から多人数のユーザーが任意の方向を観察可能なシステムである 監視カメラやTV会議システムへの適用