遠隔カメラ映像のための 覗き込みインタフェース

Presentation on theme: "遠隔カメラ映像のための 覗き込みインタフェース"— Presentation transcript:

1 遠隔カメラ映像のための 覗き込みインタフェース
I4-07 遠隔カメラ映像のための 覗き込みインタフェース 山口光太, 渡辺義浩, 小室孝, 石川正俊 東京大学大学院情報理工学系研究科 概要 頭部位置を使って遠隔カメラの映像のPan/Tilt/Zoom (PTZ) を操作するインタフェース Wide Field of View (FOV) カメラあるいは機械式PTZカメラがあれば、あとは安価な平面ディスプレイとWebカメラで構成可能 ビデオチャットや遠隔会議、あるいはGoogle Street Viewのような固定視点映像に対して直感的なユーザ入力を実現 システム構成 計測カメラ (X, Y, Z ) 映像取得 カメラ α ネットワーク (θ, φ ) ディスプレイ 計測カメラ 遠隔カメラ 映像データをネットワークに流すカメラ。広い視野角を持っていることが条件である。構成方法は二種類： 　－機械式Pan/Tilt/Zoom (PTZ)カメラ 　－Wide Field of View (Wide FOV) カメラ 顔の三次元位置 (X, Y, Z) を計測するための透視投影カメラ。正確な計測にはステレオカメラなどの三次元計測機器が必要となるが、弱中心射影モデルを使い、顔の大きさを仮定することで、単眼でも近似的に三次元位置を計測可能。これによりWebカメラなど安価なカメラを利用可 ディスプレイ ごく一般的な平面ディスプレイを用いる。広視野角映像の提示には他に没入型ディスプレイ[1] などがあるが、我々のシステムは安価なディスプレイハードウェアでの構成が可能 物体面 K 画像面 O f Z h

2 遠隔カメラ 操作の対応付け Wide FOVカメラ PTZカメラ α Z Controller Renderer Zoom Pan/Tilt
監視カメラなど単一の使用者のための応用向け ビデオチャットや遠隔会議など通信・表示に機能性が要求される応用向け Renderer ネットワーク Controller ネットワーク 低レイテンシ 高解像度 PTZ操作は全てユーザ側で処理できるため、操作レイテンシが小さい より狭い範囲の光線をサンプリングするため解像度が高めやすい 一対多通信 低計算負荷 通信が一方向で済むので、一対多数のブロードキャストが可能 レンダリングのような重い処理が入らないため計算負荷が小さい 双方向通信への拡張 低通信負荷 視界から相手が消えないので、計測用カメラと映像取得カメラを兼ねて双方向通信ができる。ただし透視投影以外での顔位置計測アルゴリズムを構築する必要 必要な映像のみを送るため通信負荷が小さい。Wide FOVでは表示しない範囲の映像も送る必要あり 操作の対応付け 三次元位置(X, Y, Z )で操作する対象はカメラの透視投影パラメータ (θ, φ, α )であり、遠隔ロボットの操作[2]などとは対応付けが異なる。対応付け方法は任意のものが設計可能であるが、例えば次のような対応付けをすることでユーザは直感的に操作できると考えられる。ユーザビリティ評価は今後の課題 α near far Z Zoom Pan/Tilt 顔を近づけるほどズームが拡大、つまり顔を近づけるほど映像取得カメラの透視投影の視野角を狭くする。人間の眼はズーム機能を持っておらず、人間は代わりに近寄って対象を見る。我々はこの動作を参考に顔を近付ける動作をズームと対応付けた 顔の中心からディスプレイの中心を結ぶ直線が光軸となるように制御。ただし、近似的にディスプレイ中心を計測カメラ中心で置き換え可能

3 広視野角映像からの透視投影像のレンダリング
システムの試作 Wide FOVカメラとして魚眼カメラを用いたシステムを構築、実装内容や操作感を評価 魚眼カメラによる取得映像 広視野角映像からの透視投影像のレンダリング 動作画面 ユーザ環境: Intel Core 2 Duo 2GHz搭載ラップトップPC, TCP/IPネットワーク越しに映像受信 遠隔カメラ: fθレンズ搭載の魚眼カメラ, 取得映像を圧縮してストリーミング 顔位置計測: Haar-like特徴を用いた顔検出[3] + カルマンフィルタ 動作速度 操作感 応答速度は良好だが、顔検出の失敗により時々操作中断 計測カメラの視野角によって閲覧可能な視野範囲が制限。しかし狭い範囲で広い視野すべてを閲覧できるようにすると映像酔いしやすく操作性が低下 1280x960px, 最大15/2fpsの魚眼カメラ映像をストリーミング受信しながら計測カメラから得た160x120pxで最大30Hz以上で顔位置計測可能 結論と今後の課題 遠隔カメラ映像のPan/Tilt/Zoomを顔位置で操作するインタフェースを提案 魚眼カメラを用いた試作システムにより一般的なラップトップPCでリアルタイム動作可能なことを確認 ユーザビリティの評価: どういった操作の対応付けが使いやすいと感じるのか 透視投影でないモデルにおける顔位置計測アルゴリズムの開発と、それを用いた双方向パノラミックビデオチャット 参考文献 [1] [2] [3] C. Cruz-Neira, et al., “Surround-Screen Projection-Based Virtual Reality: The Design and Implementation of the CAVE,” Proc. ACM SIGGRAPH, pp , 1993. J.J. Heuring and D. W. Murray, “Visual head tracking and slaving for visual telepresence,” Proc. Robotics and Automation, 1996. P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” Proc. Computer Vision and Pattern Recognition, 2001.