~Lookie~ WEBカメラを用いた対話時における 視線不一致問題の解決手法の提案と 解決支援機構の開発 Move B3 rossi 親 takahiro
背景 インターネットの高速化によるビデオチャットの誕生 視線不一致問題の発生 ?
目的 Webカメラを使用したビデオ通話の際に発生する、お互いの視線が一致しない問題（視線不一致問題）を解決する事
関連研究 ハーフミラー方式 ステレオカメラによる合成 マジックミラーの半透過性を利用する手法 複数のカメラからの画像を合成する手法 Ruigang Yang Zhengyou Zhang 「Eye Gaze Correction With StereoVision for Video-Teleconferencing」 Bodelin technology製 「See Eye 2 Eye」
問題意識・Lookieの目的 問題意識 Lookie の目的 既存の研究では特別な装置が必要であった． → 普及に至らなかった 特別な装置なしで視線不一致問題を解決する 導入コストを低くして普及しやすくする
イメージ（補正前の写真） 補正前 補正後 確かに静止画では若干気持ち悪く見えますが、動画なら大丈夫です。
lookie機能要件 １ 顔領域の検出 ２ 俯角の判定 ３ 映像の補正 顔の位置と大きさを検出 俯角（顔の上下方向）を判定 目の引き延ばしと写真の台形補正
Lookieシステム構成図 Lookie system 顔領域の検出 俯角の判定 画像の補正 顔の映像 映像 顔領域の座標、大きさ 俯角情報 camera 顔領域の座標、大きさ 顔の映像 俯角の判定 俯角情報 monitor 画像の補正 補正後の映像
Lookieシステム構成図 Lookie system 顔領域の検出 俯角の判定 画像の補正 顔の映像 映像 顔領域の座標、大きさ 俯角情報 camera 顔領域の座標、大きさ 顔の映像 俯角の判定 俯角情報 monitor 画像の補正 補正後の映像
俯角（ふかく） 顔の上下の角度 （見下ろす視線の方向と水平面がなす角度） カメラ ５度 俯角（ふかく） 補正にあたって重要な要素
俯角の重要性 補正には必ず正確な俯角（上下方向の顔の角度）が必要 （例） カメラ ５度 静的に１５度補正すると・・・ カメラ １０度 ５度
処理の流れ 〜俯角判定機能〜 俯角判定機能 ウィンドウ位置 取得機能 距離判定機能 俯角判定機能 補正機構 顔領域認識機能 映像 Lookie 映像 俯角判定機能 camera 顔領域の大きさ ウィンドウ位置 取得機能 距離判定機能 画面の情報 ウィンドウの 位置情報 顔までの距離 俯角判定機能 monitor 顔の俯角 補正機構 補正映像
俯角判定アプローチ① （正面顔との比較） ①ユーザーがカメラの前で上下に頭をふる y y’ x x 下を向いた顔 （横幅は変わらない） 正面顔 x openCVの仕様上、正確な縦横比は取得できず
俯角判定アプローチ② 距離判定（キャリブレーション） ①右のような模様が５cm間隔で 印刷された紙を用意する ②右図のように折る ③顔と並ぶ位置で持ち、カメラで撮影する ① ５cm ② ③ camera
俯角判定アプローチ② 距離判定（アルゴリズム） 同じ大きさの物体は、見える大きさが 距離に反比例する カメラから見える 大きさ
俯角判定アプローチ② 距離判定（アルゴリズム） カメラ b a 俯角 θ ウィンドウの位置（相手の目の位置） a=カメラから画面上のウィンドウまでの距離 b=カメラから画面上のユーザーまでの距離 俯角＝90-atan(b/a)
評価方針 本手法による俯角の精度を評価 横から撮影した頭部写真の俯角と比較
評価結果 俯角の少ない画面上方は２〜７度程の誤差が発生 俯角の多い画面下方は１０度程に広がる （平均値）
今後の展望（卒論にむけて） 俯角判定アルゴリズムの改良 算出した俯角を用いた画像補正の評価 画像補正の動画対応 俯角判定精度の向上 画像補正手法の評価 画像補正の動画対応
まとめ 視線不一致問題を解決する手法、lookieの提案を行った 視線補正する上で必要となる、俯角判定の精度に重点を置いて実装・評価を行った 平均して8度程の誤差が見られた 今後は俯角判定の精度向上と提案した画像補正法の実装・評価を行う予定である