uMegane: AR技術を用いたセンサ情報可視化システム 今枝卓也 高汐一紀 徳田英幸 慶応義塾大学大学院政策・メディア研究科 慶応義塾大学環境情報学部

概要 AR技術を用いてセンサ情報を可視化する 膨大な情報から必要な情報のみ取得できるようにセンサ情報をフィルタリングする 現実空間の映像上にセンサ情報を投影する 膨大な情報から必要な情報のみ取得できるようにセンサ情報をフィルタリングする

アウトライン 研究概要 関連研究 センサ情報の可視化手法 センサ情報フィルタ機構 評価 今後の展望 まとめ

本研究の背景 センサの小型化 それに伴うユビキタスコンピューティング環境の発展

問題意識 センサ情報の取得には知識や手間がかかる センサ情報は膨大な量になりがち 目の前にあるセンサの情報取得にも苦労する ex.データベースへのアクセス センサ情報は膨大な量になりがち 目の前にあるセンサの情報取得にも苦労する 必要な情報にたどり着けない ・・・

既存のセンサ情報へのアクセス手法 地図上に表示 二次元バーコード+携帯電話+Webインターフェース データベースへの直接アクセス

本研究の目的 簡単にセンサ情報にアクセスできるシステムを実現する ユーザに特殊な知識や手間を要求しない 温度：29℃ 湿度：30％

本研究が想定するシナリオ ワインセラーにあるワインが適切な環境に保存されているか確認したい 店先に並べられている商品に異常がないか確認したい 無いです 適切な 温度です

アプローチ AR技術を用いてセンサ情報を可視化する センサ情報をフィルタリングする 膨大なセンサ情報から必要な情報のみ選別する

AR（Augmented Reality） 現実空間上に仮想空間の情報を投影する技術 本研究では，AR技術をユビキタスコンピューティング環境に応用

関連研究 AR技術を用いたセンサ情報の可視化 兵器技術分野 航空機のHUDやHMDに機体情報を表示 自動車 フロントガラスに周辺情報を表示 特定の環境や状況下においてのみ有効

関連研究 生活空間内におけるAR技術の利用 NaviCam 暦本, 1995 現実空間に仮想空間の情報を投影する 本棚やカレンダーのような比較的静的な情報が対象 センサのように動的に変化していく情報は対象外 u-Photo 慶應義塾大学 徳田研究室 写真というメタファを用いて情報機器の操作を可能にする 動的な情報をリアルタイムに表示する事は対象外

センサ情報の可視化 現実空間の映像上にセンサ情報を重ね合わせて表示する 温度：29℃ 湿度：30％

必要があるのでヴィジュアルマーカを用いる センサの認識手法の検討 ヴィジュアルマーカを用いる手法 利点：同じ形状の物でも個別に認識できる 欠点：現実空間の物にヴィジュアルマーカを貼り付ける必要がある 3Dモデルを用いる手法 利点：現実空間を改変する必要がない 欠点：形状の同じ物は同一物として認識してしまう 特徴点を抽出する方法 利点：予めモデルを作成する必要がない 欠点：物体の認識には向かない 本研究では，個々の物体を個別に認識する 必要があるのでヴィジュアルマーカを用いる

想定環境 ユーザはuMeganeデバイスを装着 現実空間のオブジェクトにはヴィジュアルマーカと無線センサノードを取り付ける カメラとHMD 現実空間のオブジェクトにはヴィジュアルマーカと無線センサノードを取り付ける センサ情報はセンサ情報配信サーバを通してネットワーク上に配信される

センサ情報の抽象化 センサ情報を球で表現し，現実空間の映像に重ね合わせる 色：温度 大きさ：照度 公転速度：加速度（1軸） 赤いほど温度が高い 青いほど温度が低い 大きさ：照度 大きいほど明るい 小さいほど暗い 公転速度：加速度（1軸） 速いほど加速度が高い 遅いほど加速度が低い スクリーンショット

センサ情報フィルタ機構 センサから得られるデータには様々な種類がある 本システムでは “フィルタ”を切り替える事で表示するデータを変更できる 現在の状態 過去のデータ 異常値 本システムでは “フィルタ”を切り替える事で表示するデータを変更できる サングラスのレンズを取り替えるように 現在は3つ利用可能 リアルタイムフィルタ タイムマシンフィルタ 異常検知フィルタ

各種フィルタ リアルタイムフィルタ タイムマシンフィルタ 異常検知フィルタ 直近のセンサデータを表示する 過去にさかのぼってセンサデータを表示する 時間をいったりきたりしながら過去のデータを参照できる 異常検知フィルタ 過去に異常のあったセンサだけ表示する 異常の定義はオブジェクト毎に行う

ハードウェア構成 Webカメラ HMD センサデータ 小型PC シンクノード センササーバ 無線センサノード センサデータ インターネット VGA USB 無線センサノード 無線 センサデータ 小型PC センサデータ USB等 センササーバ シンクノード インターネット

ソフトウェア構成 クライアントPC センササーバ ARToolkit センサデータ 取得モジュール … センサデータベース OpenGL Webカメラ 無線 センサノード クライアントPC センササーバ ARToolkit センサデータ 取得モジュール タグID センサ データ リクエスト・ センサデータ フィルタモジュール センサ データ リアルタイム センサ取得 モジュール タイムマシン センサ取得 モジュール … センサデータ 配信モジュール OpenGL 空間座標系 センサデータ リクエスト・ 過去の センサデータ センサデータ 描画モジュール 描画情報 センサデータベース OpenGL HMD

実装環境 クライアント サーバ ソフトウェア ハードウェア ソフトウェア ハードウェア OS 言語 コンパイラ ライブラリ CPU メモリ Windows XP Service Pack2 言語 C/C++ コンパイラ Visual Studio 2005 ライブラリ ARToolkit OpenGL ハードウェア CPU Intel Core Duo 1.5GHz メモリ 512MB ソフトウェア OS Windows XP Service Pack2 言語 JDK 6.0 データベース MySQL ハードウェア CPU Pentium M 1.70GHz メモリ 1GB

評価 対象データ 使用センサ センサ数に対するスケーラビリティ調査 情報を表示するセンサの数を増やしたとき表示に要する時間の変化を計測 1ヶ月間センサ情報を収集 20080601 – 20080630 1分毎にデータ更新 センサ数100個 実際に1ヶ月間計測されたセンサ情報を元にソフトウェア的にデータ生成 使用センサ uPart （ドイツ カールスルーエ大学TecOラボ） 照度 温度 1軸加速度センサ

結果 1 10 100 3.2735 6.7921 29.7655 平均時間 （ミリ秒） 対象センサ個数 本システムは30fpsで動作する ※

ユーザビリティ評価 ユーザビリティ評価を行った 参加者 内容 7人 20 ～ 25歳 環境内に10個設置されたセンサ情報を読み取る 内3人はセンサを使った環境モニタリングシステムを扱った経験があった 20 ～ 25歳 内容 環境内に10個設置されたセンサ情報を読み取る 操作終了後，アンケートに回答

実験環境 LOFT in LOFT プロジェクト 実験スペース 生活空間を想定した部屋に多数のセンサが埋め込まれている

結果 1 2 3 4 5 平均 日常的にuMegane システムを使いたい 0 3 2 2 2 2.8571 異常検知を行う際には uMegane システムを使いたい 0 3 1 4 2 4.1429 uMegane システムはセンサ情報を可視化する際には有用である 0 0 0 2 5 4.7142 uMegane システムはデータベースを直接操作するよりも使いやすい 0 1 0 0 6 4.5714 Web インターフェースよりもuMegane システムを使いたい 0 0 3 2 2 3.8571 二次元バーコードと携帯電話を 用いてセンサ情報を取得するよりもuMegane システムを使いたい 0 0 0 1 6 4.8571

SFC Open Research Forum 2007 （ORF 2007） 開催日 2007年11月22 ・ 23日 場所 六本木ヒルズ 来場者から多数のコメントを頂いた

ユーザビリティ評価及びORF 2007で 頂いたコメント インターフェースの直感性 “携帯電話よりも存在を意識しなかった” “使用用途によっては携帯電話を用いた操作よりも直感的で理解しやすい” “リアルタイムにセンサ情報が変化していく様子を見るのは楽しい” ヴィジュアルマーカへの不満 “現実空間にヴィジュアルマーカを貼るのは不恰好” “センサの LED を用いて認識する手法もあるのでは” 情報の見せ方への改善要求 “カメラの撮影角度等によって情報が見え難くなる” “常に何かを表示するようにした方がよい”

今後の展望 フィルタの拡充 ビジュアルマーカ以外でのセンサ認識 多様なフィルタを用意する コンテキストに応じたフィルタ選択 LEDを用いた光通信

まとめ センサ情報を可視化する“uMegane”システムを開発した ユーザビリティ評価を行い，有用性を確かめた AR技術を用いて現実空間の映像上にセンサ情報を投影する 膨大な情報から必要な情報のみ取得できるようにセンサ情報フィルタ機構を実装した ユーザビリティ評価を行い，有用性を確かめた ORF 2007でデモを行った

ご清聴ありがとうございました