論文発表 che 20091013

本発表について 今回の論文はウェアラブルコンピューティングとインタラクションの研究 発表の狙い インタラクションに関する論文を読んできたかった 修論で参考にしたい 「眼鏡をかける」というネタの優位性を考えたかった

WUW - Wear Ur World - A Wearable Gestural Interface P. Mistry, P. Maes, L. Chang. MIT Media Lab

論文概要 In the CHI '09 extended abstracts on Human factors in computing systems. Boston, USA. 2009 内容はビデオを見てもらうのが手っ取り早いと思います

Abstract WUW – Wear Ur World – A Wearable Gestural Interface 情報をtangible worldに持ち出すウェアラブルジェスチャーインターフェース これまで情報は紙かデジタルスクリーンに結びつけられてきた 帽子かペンダントに取り付けられたプロジェクタとカメラのようなウェアラブルデバイスを用いる 壁等の現実空間上のオブジェクトの表面に情報を投影する ジェスチャーにより情報の操作を可能にする 手や腕，オブジェクトの動きによるジェスチャー

Background マルチタッチとジェスチャーベースのインタラクションシステムが開発されてきた モバイルコンピューティングデバイスの普及 テーブルや壁を用いたコンピューティング 現実世界でのジェスチャーを用いたインタラクション モバイルコンピューティングデバイスの普及 どこでもデジタル情報にアクセスできる

Issue There is no link between our interaction with these digital devices and interaction with the physical world around us. 既存のマルチタッチインタラクションシステムはモバイルではない 既存の小型モバイルデバイスはフルサイズのジェスチャシステムには及ばない When digital information is projected onto physical objects, instinctively it makes sense to interact with it in similar patterns as with physical objects: through hand gestures.

Aim To explore the novel free-hand gestural interaction that WUW proposes. WUW: a computer-vision based wearable and gestural information interface that augments the physical world around us with digital information and proposes natural hand gestures as the mechanism to interact with that information. It is not the aim of this research to present an alternative to multi-touch or gesture recognition technology

Related Work ARに対するWUWの優位性 ARに関する研究はWUWに影響を与えている WUW allows the user to interact with the projected information using hand gestures the information is projected onto the objects and surfaces themselves, rather than onto glasses or goggles, which results in a very different user experience the user does not need to wear special glasses ARに関する研究はWUWに影響を与えている wearable computing research projects and object augmentation research projects　inspires the WUW prototype.

a wearable gestural interface What is WUW a wearable gestural interface

Device カメラと小型プロジェクタから構成される それぞれ帽子かペンダントに取り付ける カメラ プロジェクタ Color Markers ユーザの見ているものを撮る ユーザの手や腕の動きを認識する プロジェクタ 現実空間上のオブジェクトに 情報を投影する Color Markers 人差し指と親指に 色のついたマーカを付ける 指の認識に用いる

Prototype Application Map Application ジェスチャで地図のズームイン / ズームアウトができる Drawing Application ジェスチャでお絵描きできる Camera Application ジェスチャで写真が撮れる カメラを手に持つ必要がない 撮った写真は現実空間のオブジェクトに投影できる Information Application ユーザが操作しているオブジェクトの追加的な情報を投影できる ex. 新聞にニュース映像を投影する Watch Application ユーザの腕に時計を投影する

Gestural Interaction of WUW The WUW primarily recognizes three types of gestures Gestures supported by multi-touch systems Freehand gestures Iconic gestures (in-the-air drawings)

Gestures supported by multi-touch systems iPhoneのような操作 pinch ズームイン・ズームアウト flip ドキュメント中の表示領域の移動等 pen ペンの上げ下げ お絵描きの時に使う

Freehand gestures 日常生活でもよく見るジェスチャ 手で四角形を作る “Namaste” カメラのフレームを象徴 カメラアプリケーションで使う “Namaste” 任意の画面からホーム画面への遷移

Iconic gestures stylus-based interfaces ユーザの描いたシンボルやアイコンを認識してインタラクション 例 “☆”を描く 天気アプリケーションの起動 “@”を描く メールチェック “×”を描く Undo操作

WUW prototype 三つのハードウェアで構成 pocket projector camera laptop computer 3M MPro110 camera Logitech QuickCam laptop computer OS Microsoft Windows platform Language C# Library WPF （画面描画） OpenCV （画像解析） 帽子に取り付ける バックパックに入れる

画像認識 指の認識 オブジェクトの認識 prototypeではマーカのついた4本の指しか認識しない 4本しか指を認識しない理由 両手の人差し指と親指 4本しか指を認識しない理由 自然な手のジェスチャでは人差し指と親指が重要 指の数を制限する事でユーザ数がわかる マルチユーザのインタラクションを可能に オブジェクトの認識 数種類のオブジェクトの認識が可能 新聞 コーヒーカップ 本

Discussion wearable gestural interfaceを提案した 既存の手法に比べて斬新なインタラクション 現実空間と仮想空間をより一層結びつける 既存の手法に比べて斬新なインタラクション 写真を撮るインタラクション等 コンパクトで廉価 ＄350 ジェスチャ認識のためのハードウェアがカメラ 特別な操作を科すようなハードウェアがいらない touch-screens QWERTY keybords pointing devices

Future Work カラーマーカを無くしたい 現実空間上のオブジェクト認識能力の改善 ペンダント型デバイスの開発 近いうちに評価を取る ユーザビリティを改善する 現実空間上のオブジェクト認識能力の改善 ペンダント型デバイスの開発 it would be socially more acceptable ビデオではできてるように見える 近いうちに評価を取る 2ヶ月間のinformalなユーザフィードバックは既にあるが，かなりpositiveな結果だった

個人的な感想 単純に面白かった 言い方次第では眼鏡のレンズによるインタラクションも認められるのでは？と期待 次は評価をしてる論文を読みたい 文章もわかりやすかった ビデオが特に楽しい 写真を撮ってる辺りが最高です 言い方次第では眼鏡のレンズによるインタラクションも認められるのでは？と期待 自分のビジョンを語るのは大事 インパクトのあるビデオを撮りたい 次は評価をしてる論文を読みたい 修論で評価方法を参考にしたい