ＡＡＭと回帰分析による視線、顔方向同時推定 神戸大学工学部情報知能工学科 有木研究室 高谷 学
研究背景 視線推定技術への期待 高精度な推定技術への期待 これは誰？ それはどういう意味？ 視線は意図や興味を表す重要な情報 ロボットやエージェントなどのアプリケーションへの応用が期待 高精度な推定技術が求められている
研究内容 単眼カメラによる視線推定 視線角度が１０°です。 カメラに写っている人間の視線の方向をコンピュータが理解する
従来手法の問題点 顔方向推定誤差が視線に影響 従来手法 本手法 顔領域探索 顔領域探索 顔特徴点探索 顔特徴点探索 誤差 顔方向推定 視線方向推定 視線方向推定
特徴量抽出 Active Appearance Models[1] ・顔の形状とテクスチャの変化をモデル化 ・低次元のベクトル によるモデルの表現 の第１成分の変化 （顔の水平方向） の第２成分の変化 （ノイズ） [1] T.F.Cootes “Active Appearance Models” European Conference on Computer Vision (1998)
Active Appearance Model PCA （x、yは特徴点座標） Shape(形状) PCA 平均形状 PCA 平均テクスチャ 単位を揃えるための行列 平均形状での顔領域内の各画素の輝度(テクスチャ) PCAして得られた正規直交行列 Combinedパラメータベクトル 本研究ではこのパラメータベクトルを特徴量として顔、視線方向の推定を行う
顔、視線同時推定 Cootesの手法を視線方向に拡張[2] 特徴量 と顔、視線方向の関係をモデル化 最小二乗法で係数ベクトル ～ を学習 特徴量 と顔、視線方向の関係をモデル化 最小二乗法で係数ベクトル ～ を学習 顔水平方向 視線水平方向 Regression model
実験条件 実験データ Ishikawaらの手法[3]と比較 視線方向の平均推定誤差、正解率で評価 被験者数 1人 学習データ数 35枚/人 テストデータ 125枚/人 解像度 640*480 顔角度 40°～-40° 視線角度 [3]T.Ishikawa “Passive Driver Gaze Tracking with Active Appearance Models” CMU( 2004 )
実験結果
実験結果
実験条件（追加実験） 実験データ Ishikawaらの手法[3]と比較評価 視線水平方向の正解率で評価 被験者数 ４人 学習データ数 63枚/人 テストデータ 252枚/人 解像度 640*480 顔角度 20°～-20° 視線角度 [3]T.Ishikawa “Passive Driver Gaze Tracking with Active Appearance Models” CMU( 2004 )
実験結果
デモ
ご静聴ありがとうございました Thanks to your kind attention.
[補足]回帰式の導出 特徴量 と顔方向 、視線方向 のモデル化 R α α＋Φ β β＋θ Face Face Rotation 特徴量 と顔方向 、視線方向 のモデル化 Face Face R Rotation Feature point r α α＋Φ β β＋θ Image plane Image plane
[補足]回帰式の導出 変位量 の計算 回帰式の提案 最小二乗法で回帰係数 ～ を学習 ただし、
[補足]回帰式の提案 回帰式の提案 回帰係数ベクトル ～ を最小二乗法で学習 顔水平方向 視線水平方向 Nonlinear model 回帰係数ベクトル ～ を最小二乗法で学習 顔水平方向 視線水平方向 Nonlinear model Linear model Semilinear model
[補足]実験結果（追加実験）
[補足]実験結果（追加実験）
[補足]実験結果（追加実験）
[補足]実験結果（追加実験）