~Lookie~ WEBカメラを用いた対話時における 視線不一致問題の解決手法の提案と 解決支援機構の開発

Slides:



Advertisements
Similar presentations
TCP/IP によるチャットプログラ ム 薄井 秀晃. 基礎知識編 TCP/IP とは? IP とは・・・ Internet Protocol の略称であり通信方法の技術的なルールで あり、実際にデータを送受信する前にデータを小さなデータ に分割し、それに発信元と受信先の IP アドレスを付加させて.
Advertisements

パノラマ合成 富山商船高等専門学校 情報工学科4 年 富田 大志 長岡技術科学大学オープンハウス テーマ:ロボット実践コース③-映像信号処 理- 研修期間 2009 年 8 月 17 日~ 21 日.
テーマ「画像処理」 クロマキー合成 第三回. 機材の貸し出し 機材のレンタル 機材のレンタル – 三脚・HDD・ケーブル・カードリーダーの貸し出 し 計画的に機材を借りてください. 計画的に機材を借りてください.
自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
OWL-Sを用いたWebアプリケーションの検査と生成
3次元nクイーン問題の 解に関する研究 論理工学研究室 伊藤精一
点対応の外れ値除去の最適化によるカメラの動的校正手法の精度向上
パネル型クエリ生成インタフェース画像検索システムの改良
パノラマ動画像モデルによる 仮想空間表現システムの研究
Deep learningによる 読唇システム
Skypeの使い方 ス  カ  イ  プ ア ン ド ロ イ ド Android版.
Aided Eyes: Eye Activity Sensing for Daily Life
ライフログデータとしての笑顔の蓄積システムの提案
感情推測システム構築のための顔表情認識の実践
顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男.
SURF: Speeded Up Robust Features
DARTs: Efficient scale-space extraction of DAISY keypoints
医療支援診断のためのコンピュータ分散システムの検討
クラシック音楽普及プロジェクト KG:mao B3 wakutin.
ユビキタス環境における コミュニケーション・ツール選択支援機構の提案
AR概要とNyARToolkitについて
テーマ「画像処理」 クロマキー合成 第二回.
有人撮影講義ビデオの閲覧・編集支援のための画像・音声切り出し手法の検討
固定カメラ映像からの音声情報を 用いた映像コンテンツ生成
高山建志 五十嵐健夫 テクスチャ合成の新たな応用と展開 k 情報処理 vol.53 No.6 June 2012 pp
画像情報を用いた交通流計測 情報工学科 藤吉研究室 EP02076 都築勇司
活動を しましょう あいさつ しましょう 指示を しましょう はげましましょう Scene1. Scene2. Scene3.
技術伝承 高技能者の手順、動作を わかりやすく動画で伝えるコンテンツを カンタンに作成できます。 ● 比較再生機能 ● 動画マニュアル
プロモデル 使用カメラ 更新.
屋内施設での先導案内ロボット T213005 一柳良介.
オーサリングツール&ブラウザの 技術的トピック
長岡技科大オープンハウス 岐阜高専4年電子制御工学科 森 永二郎.
顔部品の検出システムの構築 指導教員 廉田浩 教授 1DS04188W  田中 甲太郎.
小山工業高等専門学校 電子制御工学科 4年 小山田 晃
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
Leap Motionを用いた実世界指向 アプリランチャの設計と開発
視点移動カメラにおけるカメラキャリブレーション
-Lookie- WEBカメラを用いた対話時における視線不一致問題の解決手法の提案
WIP中間発表 画像解析を用いた メイドの為の 無許可撮影通知システム
位相カメラの進捗状況 京都大学修士1回 横山 洋海.
中京大学 情報理工学部 機械情報学科 H 野口裕司
TIME SIGNAL: 集合知を利用した赤信号点灯時間の取得手法
中京大学 工学部 電気電子工学科 白井研究室 4年 T 為房直人
迷子問題を考慮した 地図閲覧システムの構築
内視鏡画像からの奥行き情報提示による 視覚支援システムの開発
パノラマ合成 電子制御工学科 4年 大久保卓也.
OpenCV について OpenCV とは OpenCV の Python プログラム例 配列 画像の B, G, R の 3成分
Thesis Supervisor: Katsushi Ikeuchi 池内克史
中京大学 電気電子工学科 白井研究室 T 久保田直樹
一方向画像からの 3Dモデル生成 電気電子工学科 白井研究室 T215049 田原 大輝.
CCDカメラST-9Eの      測光精密評価  和歌山大学 教育学部           自然環境教育課程 地球環境プログラム 天文学専攻 07543031   山口卓也  
1 1 1.写真の挿入 サンプル写真内の画像アイコンをクリックすると、「ライブラリ」から好きな写真を挿入することができます。
顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識
各会話シーン毎に、発話(音源)方向を推定
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
2007年度 長岡オープンハウス クロマキー合成 小山高専 電子制御工学科4年                       針谷 尚裕.
株式会社テクノブレイン 景観CG作成の種類と手順について.
「鳥を呼ぶ窓」 簡易操作マニュアル start 設置&起動(2p参照) A:サイズ+1 S:サイズ+10 D:サイズ-1 F:サイズ-10
8方向補間ブロックマッチングの実装 福永研究室 数理科学コース 学部4年 能城 真幸.
高齢者支援アプリケーション Term Projectの最終発表 Bull:ECN Takatoshi:親
大阪工業大学 情報科学部 情報システム学科 学生番号 B02-014 伊藤 誠
ビデオデータベースを用いた 流体画像に基づくアニメーション生成
GRチョコレートプリンタ.
Webページタイプによるクラスタ リングを用いた検索支援システム
勾配画像処理に基づく動画中の流体部分抽出
CSP係数の識別に基づく話者の 頭部方向の推定
AAMと回帰分析による視線、顔方向同時推定
市松模様を使用した カメラキャリブレーション
人物再識別システムの 試作と評価 飯塚 敦志.
画像の認識・理解に関するスポットライト発表
Presentation transcript:

~Lookie~ WEBカメラを用いた対話時における 視線不一致問題の解決手法の提案と 解決支援機構の開発 Move B3 rossi 親 takahiro

背景 インターネットの高速化によるビデオチャットの誕生 視線不一致問題の発生 ?

目的 Webカメラを使用したビデオ通話の際に発生する、お互いの視線が一致しない問題(視線不一致問題)を解決する事

関連研究 ハーフミラー方式 ステレオカメラによる合成 マジックミラーの半透過性を利用する手法 複数のカメラからの画像を合成する手法 Ruigang Yang Zhengyou Zhang 「Eye Gaze Correction With StereoVision for Video-Teleconferencing」 Bodelin technology製 「See Eye 2 Eye」

問題意識・Lookieの目的 問題意識 Lookie の目的 既存の研究では特別な装置が必要であった. → 普及に至らなかった 特別な装置なしで視線不一致問題を解決する 導入コストを低くして普及しやすくする

イメージ(補正前の写真) 補正前 補正後 確かに静止画では若干気持ち悪く見えますが、動画なら大丈夫です。

lookie機能要件 1 顔領域の検出 2 俯角の判定 3 映像の補正 顔の位置と大きさを検出 俯角(顔の上下方向)を判定 目の引き延ばしと写真の台形補正

Lookieシステム構成図 Lookie system 顔領域の検出 俯角の判定 画像の補正 顔の映像 映像 顔領域の座標、大きさ 俯角情報 camera 顔領域の座標、大きさ 顔の映像 俯角の判定 俯角情報 monitor 画像の補正 補正後の映像

Lookieシステム構成図 Lookie system 顔領域の検出 俯角の判定 画像の補正 顔の映像 映像 顔領域の座標、大きさ 俯角情報 camera 顔領域の座標、大きさ 顔の映像 俯角の判定 俯角情報 monitor 画像の補正 補正後の映像

俯角(ふかく) 顔の上下の角度  (見下ろす視線の方向と水平面がなす角度) カメラ 5度 俯角(ふかく) 補正にあたって重要な要素

俯角の重要性 補正には必ず正確な俯角(上下方向の顔の角度)が必要 (例) カメラ 5度 静的に15度補正すると・・・ カメラ 10度 5度

処理の流れ 〜俯角判定機能〜 俯角判定機能 ウィンドウ位置 取得機能 距離判定機能 俯角判定機能 補正機構 顔領域認識機能 映像 Lookie 映像 俯角判定機能 camera 顔領域の大きさ ウィンドウ位置 取得機能 距離判定機能 画面の情報 ウィンドウの 位置情報 顔までの距離 俯角判定機能 monitor 顔の俯角 補正機構 補正映像

俯角判定アプローチ① (正面顔との比較) ①ユーザーがカメラの前で上下に頭をふる y y’ x x 下を向いた顔 (横幅は変わらない) 正面顔 x openCVの仕様上、正確な縦横比は取得できず

俯角判定アプローチ② 距離判定(キャリブレーション) ①右のような模様が5cm間隔で 印刷された紙を用意する ②右図のように折る ③顔と並ぶ位置で持ち、カメラで撮影する ① 5cm ② ③ camera

俯角判定アプローチ② 距離判定(アルゴリズム) 同じ大きさの物体は、見える大きさが 距離に反比例する カメラから見える 大きさ

俯角判定アプローチ② 距離判定(アルゴリズム) カメラ b a 俯角 θ ウィンドウの位置(相手の目の位置) a=カメラから画面上のウィンドウまでの距離 b=カメラから画面上のユーザーまでの距離 俯角=90-atan(b/a)

評価方針 本手法による俯角の精度を評価 横から撮影した頭部写真の俯角と比較

評価結果 俯角の少ない画面上方は2〜7度程の誤差が発生 俯角の多い画面下方は10度程に広がる (平均値)

今後の展望(卒論にむけて) 俯角判定アルゴリズムの改良 算出した俯角を用いた画像補正の評価 画像補正の動画対応 俯角判定精度の向上 画像補正手法の評価 画像補正の動画対応

まとめ 視線不一致問題を解決する手法、lookieの提案を行った 視線補正する上で必要となる、俯角判定の精度に重点を置いて実装・評価を行った 平均して8度程の誤差が見られた 今後は俯角判定の精度向上と提案した画像補正法の実装・評価を行う予定である