物理法則に基づいた 力覚VR環境構築ソフトウェアの開発

Presentation on theme: "物理法則に基づいた 力覚VR環境構築ソフトウェアの開発"— Presentation transcript:

1 物理法則に基づいた 力覚VR環境構築ソフトウェアの開発
東京工業大学 精密工学研究所 岡田直樹，長谷川晶一 小池康晴，佐藤誠

2 物理法則に基づいた力覚VR環境 まずはじめに物理法則に基づいたVR環境とはどういうものかビデオ映像を見ていただきます．
この作品は私の研究室で過去に開発されたバスケットボールのアプリケーションです． 指にはめた指輪が糸を通してひっぱられることにより，体験者はボールを持つ感触が得られ， フリースローを行うことができます． こちらはホッケーゲームです． さきほどと同じように糸を張られたグリップを操作し， 雪だるまを穴に入れるアプリケーションです． こちらは，両手でスコップを操作し，積み木を扱うアプリケーションです．

3 はじめに 物理ベース力覚VR環境構築ソフトウェアを 取り巻く環境 変更が 多い 力覚提示装置，物理シミュレータは， まだ研究・開発段階
アプリケーションを探っている段階 新規のデバイスが次々に発表されている リアルタイム物理シミュレーションも研究段階 商用ライブラリでは対応できない プログラムソース非公開のために，自由に変更できない 研究としてソフトウェア開発に取り組む必要あり アプリケーション探索に必要 変更が 多い このような物理法則に基づく力覚をともなったVR環境のことを 本発表では物理ベース力覚VR環境と呼ぶことにします． では，本研究の主題であります， 物理ベース力覚VR環境を構築するためのソフトウェアをとりまく環境をご紹介します． まず，物理ベース力覚VR環境のキーとなる二つの要素 力覚提示装置，物理シミュレータはともにまだ研究･開発段階と言うことができます． 具体的にどういうことかと申しますと， まず，物理ベース力覚VR環境のアプリケーションを探っている段階ということがあげられます． 設計，教育，エンタテイメントなどさまざまな応用先が考えられていますが， 現在のところ，キラーアプリケーションと呼べるほどのアプリケーションは報告されていません． また，新しい力覚提示装置が次々に発表されており， リアルタイム物理シミュレーションもまだ研究段階と言うことができます． このように，物理ベース力覚VR環境はまだ流動的であるため ソフトウェアを変更したくなる場合が頻繁にあります． このような場合，市販されている商用のライブラリでは対応することはできません． それはなぜかと申しますと，商用の場合プログラムが非公開であることが多く， プログラムを自由に変更することができないからです． そこで我々はオープンソースのソフトウェアの必要性を感じ、 現在開発をしております． －－ しかし，CADなどのシミュレータ（DADS，ADAMS）などは商用で成功している（目的，アプリケーションがはっきり決まっている） まず、はじめにこちらのビデオ映像をご覧下さい。 これは私の研究室で過去に開発された力覚提示装置のアプリケーションです． このように，力覚提示をともなった多くのアプリケーションでは， 仮想物体の運動は物理法則に従っており， 体験者は触った感触だけでなく，仮想物体の動きからも高い現実感を感じることができます． そこで，私達は物理法則に基づいた力覚VR環境を 簡単に構築できる基本ソフトウェアを開発しています． 仮想物体の動きを実世界と同じようにシミュレーションする物理法則モデリングは， 力覚提示により高い現実感を与えると考えられ， この両者を組み合わせたVR環境PHVEは様々な分野への応用が期待されています． そして，その研究・応用を容易に効率よく行うことができるソフトウェアが求めらおり， 我々はその基本ソフトウェアを開発しています． 物に触れたときの手ごたえを表現する力覚提示や 実世界と同じような動きを生成する物理法則モデリングといった 研究が行われています。 この二つの研究は，計算量などの問題から従来別々に研究されることが多かったのですが この両方を組み合わせた環境PHVEは設計や教育などさまざまな分野での応用を期待することができ、 PHVEの研究・応用を効率よく行うことができる基本ソフトウェア

4 汎用物理シミュレータ 開発者の負担－大 開発者の負担－小 従来－それぞれの作品に特化した物理プログラム 解決法－汎用的な物理プログラム
新アプリケーション →新しい物理プログラム 仮想世界を修正 →物理プログラムも要修正 開発者の負担－大 アプリA 物理A データA アプリB 物理B データB アプリC 物理C データC アプリA 物理A データA アプリA 物理A’ データA’ アプリA 物理A” データA” 解決法－汎用的な物理プログラム オープンソースであることの他にもうひとつ重要だと考える点があります． それは物理シミュレータが汎用に使えるということです． たとえば，さきほどのビデオにあったバーチャルバスケットボールやペンギンホッケーでは それぞれの作品に特化した物理プログラムを書いていました． これは，その当時は計算機のスピードが遅かったために， 物理シミュレーションを高速に行うことができなかったからです． しかし，これでは新しいアプリケーションを作るたびに 新しい物理プログラムを書く必要があり， また，ボールの数を増やしたり，ゴールの距離を変えるといった修正作業でも プログラムを書き換えなければなりません． そのために，開発者の負担は大きくなり，高度なシステムを作る上での大きな障害となってしまいます． 現在では，計算機のスピードも上がり， 汎用的な物理プログラムを使える環境が整ってきました． もし，汎用的な物理プログラムがあれば， 同じアプリケーション内の修正はもちろん， バーチャルバスケットとペンギンホッケーのような異なるコンテンツでも 同一の物理プログラムを使用することができ，データの変更だけですみます． そのため，開発者の負担を小さくすることができます． －－ では、従来のソフトウェアにはどんな問題点があったかといいますと， 例えば，さきほどのビデオにあったバーチャルバスケットボールやペンギンホッケーでは このことは，アプリケーションそのものを作り変える場合だけではなく， 例えば，バスケットでボールの数を増やしたり，ゴールの距離を変えるといった， ささいなことでも同じです． さきほどご紹介させていただいたこれらの作品のソフトウェアは， ハードウェアに密着していたことなどが原因となり， 従来は作品ごとに専用のプログラムを書いていました． しかし，これでは開発者に多大な労力が必要となり， 高度なシステムの開発には大きな障害となっています． そこで，容易にアプリケーション開発を行うことができる 汎用的なソフトウェアが望まれてきました． 新アプリケーション，修正 　→ データ変更のみ アプリA 物理 （汎用） データA アプリA 物理 （汎用） データA’ アプリB 物理 （汎用） データB 開発者の負担－小

5 既存の開発ソフトウェア 物理ベース力覚VR環境の構築が可能 機能の変更が可能 GHOST HIP 多体の運動シミュレー ションができない
多体の運動シミュレー　ションができない できる Virtools reachin プログラムの内部構造が公開されておらず，変更できない では，既存のVRソフトウェアではどうかといいますと， GHOSTやHIPでは，主に力覚提示装置の駆動を目的としたものであり， たくさんの物体の運動シミュレーションができないため，物理ベース力覚VR環境を構築することができません． 一方，Virtoolsやreachinでは，物理ベース力覚VR環境を構築することはできるものの， プログラムの内部構造は公開されておらず，自由に作り変えることができません．

6 開発ソフトウェアの機能構成 データの流れ 未実装機能 オープンソース 機能のモジュール化 → 交換･再利用が容易 ファイルローダ・セーバ
データファイル ジオメトリ テクスチャ 物理特性 シーングラフ レンダラ ディスプレイ 衝突判定 イベントハンドラ モデラ デバイスマネージャ 物理エンジン 力覚提示装置 そこで我々は，開発ソフトウェアの機能構成をこのようにしました． 開発ソフトウェアは 仮想世界のグラフィックスデータや物理特性といったデータファイルを読み込みんだり保存するファイルローダ・セーバ、 仮想世界の情報を管理するシーングラフ， シーングラフから受け取った情報を元に描画を行うレンダラ， 任意物体同士の衝突の判定を行う衝突判定ルーチン， アプリケーションのイベントを制御するイベントハンドラ（こちらはまだ実装されておりません）， 衝突判定の結果やデバイスマネージャから送られてきた情報を元に， 仮想物体に加わる抗力や摩擦力の計算をし 次のステップにおける位置・速度を求める物理エンジン， 物理エンジンと力覚提示装置の間のやり取りをするデバイスマネージャなどによって構成されています． 本ソフトウェアでは，任意のポリゴンの衝突判定を メッシュデータのみから行うことができます． これらの機能のプログラムはすべて公開します． また各機能はモジュール化されており， ソフトウェア部品の交換・再利用できるようにしています． テキストエディタ 外部 処理 リアルタイム処理 オープンソース 機能のモジュール化　→　交換･再利用が容易

7 評価実験 開発ソフトウェアを用いてアプリケーションを製作し， 汎用物理シミュレータ，オープンソースであることの効果を調べる
芸術科学会DiVA展にて入選 では，開発ソフトウェアを用いて実際にアプリケーションを製作し， 汎用物理シミュレータ，およびオープンソースであることの効果を調べました． こちらが製作したアプリケーションDynamoです． Dynamoは文字の書かれた木箱を力覚提示装置SPIDARを用いて転がし， 出た目で言葉を作るという趣向の作品です． この青い四角がSPIDARのグリップ部分に対応しています． また，この床から落ちた箱は上から降ってくるようになっています． Dynamo

8 製作者 製作者A 製作者B 製作者C 初めて開発ソフトウェアを使用 過去にSPIDARを用いた力覚VR作品を開発した経験あり
開発ソフトウェアの開発者 Dynamoの製作に携わった人は次の3人です． ここで製作者の紹介をします． 製作者Ａ，Ｂは今回はじめて開発ソフトウェアを使用しました． そして，Ａのほうは過去にＳＰＩＤＡＲを用いた力覚ＶＲ作品を開発した経験があり， アプリケーション開発の手順については知識があります． また，一部，開発ソフトウェアの開発者自身が 開発を手伝いました． １：００

9 製作工程 全体として２週間ほど 製作者A 製作者B 製作者C 企画（数日） ラフスケッチ（3時間） データ記述の理解（1時間）
データ記述の理解（3時間） 最大パフォーマンスの測定（6時間） オブジェクトのモデリング　テクスチャの作成（6時間） 床から落ちた箱を上に戻す機能の実装（5時間) 物体の初期位置などのデータ編集 α版，β版の作成（12時間） こちらが，製作工程です． まず，アプリケーションの大まかな内容についての企画を行います． 企画の内容が決まると，実際に表現したい世界のラフスケッチを行います． その後，物理特性の設定の仕方などの、データファイルの作りかたを学び， 実際に世界を作っていきます． まず，行っているのが最大パフォーマンスの測定です． オブジェクトの数などを徐々に増やし，最大何個の箱が安定して仮想世界の中に存在できるかを測定しています． 一方、この間、製作者Ｂはオブジェクトのモデリングやテクスチャの作成を行っています． そして，α版、β版として，初期位置などのデータ編集を行い，作品としての見栄えを調整します． その頃，床から落ちた箱を上に戻す機能という開発ソフトウェアに入っていない機能が必要となり， 製作者Ｃが実装作業が行っています． そして最後に，実機テストなどを行い，完成としています． 全体として２週間ほどかかりました． コンセプトの煮詰め実機テスト ファイナル版の作成（12時間） 全体として２週間ほど

10 結果 データファイル編集が製作工程の大半 開発ソフトウェアにない機能が追加可能
データファイル編集が製作工程の大半　 開発ソフトウェア初使用の二人（製作者A，B）が 　 ほとんどの工程を担当 短期間でアプリケーションが完成 （参考：バーチャルバスケットボール 3，4ヶ月） 開発ソフトウェアにない機能が追加可能 結果です． 開発ソフトウェアに汎用物理シミュレータが入っていたので， 製作工程の大半をデータファイル編集につぎ込むことができました． そのため，製作者A，Bの二人だけでアプリケーション開発のほとんどを行うことができ， 短期間でアプリケーションが完成しました． また，プログラムが公開されているので， 開発ソフトウェアにない機能を追加することができました． －－ 結果と考察です． 開発ソフトウェアに物理ベース力覚VR環境の基本機能が含まれていたので 製作者AとBは主にデータファイルの作成，つまりコンテンツの内容に力を注ぐことができ， 比較的短期間でアプリケーションを作成することができました． また，製作者からの要望としては， データファイルの編集 また，アプリケーションの作成の中で床から落ちた箱を上に戻すという機能が必要になり， 今回は私が作成しましたが，今後ユーザにどのようにして

11 今後の課題 データファイル編集が困難 テキストエディタ → GUI イベント記述が困難 イベントハンドラの整備
　イベントハンドラの整備 Dynamoの作成を通して以下のような課題が出ました． 現在，物体の位置などデータファイルの編集をテキストエディタで行っており、 編集結果を即座に確認することができません． そこで，編集結果がすぐに画面に表示されるGUI形式のデータファイル編集機能を作成する予定でいます． また，今回は開発ソフトウェアの開発者自身が床から落ちた箱を戻すというイベントの記述を行いました． そこで開発者でない人でも容易にイベント記述を行うことができるように， 現在未実装であるイベントハンドラの整備を進める必要があります． －－ 現在、データファイルの作成をグラフィックはモデラを用いて，物理特性はエディタを用いて行っています． それらをGUIを用いて設定できるようにし，ユーザにとってより簡単にデータ編集を行えるようにすることを考えています． また，多くのアプリケーションに必要なイベント記述を簡単に行うことができる仕組みを作ることや、 マニュアルなどのドキュメント作成などがあります。

12 開発ソフトウェア　Web Page