-Lookie- WEBカメラを用いた対話時における視線不一致問題の解決手法の提案 move B3 rossi 親 takahiro
概要 Webカメラを使用したビデオ通話の際に発生する、お互いの視線が一致しない問題（視線不一致問題）に対して、特殊な装置を必要としない解決手法を提案する
背景 インターネットの高速化によるビデオチャットの誕生 視線不一致問題の発生 ? 図をわかりやすく
問題意識 コミュニケーションをとる上で、視線は重要な機能（役割）を持っている 現状のコミュニケーションツール(Skype等)では、左記の視線機能が欠如している 既存の研究では、専用の装置を別に設ける必要がある Monitoring（観察） 相手の目を観察して、会話を続けるべきか判断する機能 Regulation（調整） 相手の目の動きを見て、話の展開を調整する機能 Expressive（表現） 無言で感情を表現する機能 * Some Functions of Gaze-Direction in Social Interaction Kendon.A 1967 Acta Psychologica
関連研究 ハーフミラー方式 ステレオカメラによる合成 マジックミラーの半透過性を利用する手法 複数のカメラからの画像を合成する手法 Ruigang Yang Zhengyou Zhang 「Eye Gaze Correction With StereoVision for Video-Teleconferencing」 tku Bodelin technology製 「See Eye 2 Eye」
関連研究の比較 必要 なし 合成による大きなズレが発生 新規装置の 出力画像の 歪み・ズレ 必要性 ハーフミラー 方式 ステレオカメラ による合成 合成による大きなズレが発生
目的・機能用件 目的 機能用件 特別な装置を設置しない視線不一致問題の解決手法の提案 以上の３点を同時に満たす事 1.対話相手の目を見て話せる事 2.対話相手側からみて、ユーザがこちらを見ていると感じる事 3．特別な装置を使わない事 以上の３点を同時に満たす事 俯角の説明につながるように言葉を変える
処理の流れ（俯角判定／輪郭・特徴点抽出） キャリブレーション 顔の輪郭抽出／特徴点（目）の抽出 俯角判定 以下の二つで、顔の俯角（下向きの角度）を判定 ウィンドウの位置情報 （モニタより） 顔までの距離情報 （キャリブレーションより） 処理の大まかな流れを書く
処理の流れ（補正段階） 中心を合わせ、目を上方向に拡大する 黒目の位置を上にずらす 顔を中心に写真を台形に拡張する 各処理の角度や度合いは顔の俯角によって調整
比較（補正前の写真） あなたにはこの写真がこっちを向いているように見えますか？
比較（補正後の写真） これはあなたの方を見ていますね？
システム構成図 映像 ウィンドウの位置情報 輪郭・特徴点抽出機能 出力画像 俯角判定機能 俯角情報 輪郭・位置情報 補正機能 ウェブカメラ モニタ （ユーザ側） 映像 輪郭・特徴点抽出機能 ウィンドウの位置情報 出力画像 俯角判定機能 俯角情報 輪郭・位置情報 補正機能
システム構成図 映像 ウィンドウの位置情報 輪郭・特徴点抽出機能 出力画像 俯角判定機能 俯角情報 輪郭・位置情報 補正機能 ウェブカメラ モニタ （ユーザ側） 映像 輪郭・特徴点抽出機能 ウィンドウの位置情報 出力画像 俯角判定機能 俯角情報 輪郭・位置情報 補正機能
システム構成図 映像 ウィンドウの位置情報 輪郭・特徴点抽出機能 出力画像 俯角判定機能 俯角情報 輪郭・位置情報 補正機能 ウェブカメラ モニタ （聞き手側） 映像 輪郭・特徴点抽出機能 ウィンドウの位置情報 出力画像 俯角判定機能 俯角情報 輪郭・位置情報 補正機能
今期の目標と評価軸 以上の３点を複数人に体験してもらって評価する 今期に関しては、レンダリング・処理速度等は評価対象外とする 1.相手（評価では自分の顔） と視線が合っているか 2.機能なしに比べて自然な印象を受けたか 3.導入は簡単だと思うか 以上の３点を複数人に体験してもらって評価する 今期に関しては、レンダリング・処理速度等は評価対象外とする
使用言語・環境 使用言語 使用マシン 使用カメラ 使用ライブラリ C、JAVA MacBookPro i-site(マック付属のカメラ) openCV
まとめ Webカメラを用いた対話時に生じる視線不一致問題を解決する 顔の俯角を検出し、俯角に基づいて輪郭抽出・特徴点抽出・画像補正を行い、視線を補正する 既設のWebカメラで利用できるようにする