ＡＡＭと回帰分析による視線、顔方向同時推定

Presentation on theme: "ＡＡＭと回帰分析による視線、顔方向同時推定"— Presentation transcript:

1 ＡＡＭと回帰分析による視線、顔方向同時推定
神戸大学工学部情報知能工学科 有木研究室 高谷　学

2 研究背景 視線推定技術への期待 高精度な推定技術への期待 これは誰？ それはどういう意味？ 視線は意図や興味を表す重要な情報
ロボットやエージェントなどのアプリケーションへの応用が期待 高精度な推定技術が求められている

3 研究内容 単眼カメラによる視線推定 視線角度が１０°です。 カメラに写っている人間の視線の方向をコンピュータが理解する

4 従来手法の問題点 顔方向推定誤差が視線に影響 従来手法 本手法 顔領域探索 顔領域探索 顔特徴点探索 顔特徴点探索 誤差 顔方向推定
視線方向推定 視線方向推定

5 特徴量抽出 Active Appearance Models[1] ・顔の形状とテクスチャの変化をモデル化
・低次元のベクトル　　によるモデルの表現 　の第１成分の変化 （顔の水平方向） 　の第２成分の変化 （ノイズ） [1] T.F.Cootes “Active Appearance Models” European Conference on Computer Vision　(1998)

6 Active Appearance Model
PCA （x、yは特徴点座標） Shape(形状) PCA 平均形状 PCA 平均テクスチャ 単位を揃えるための行列 平均形状での顔領域内の各画素の輝度(テクスチャ) PCAして得られた正規直交行列 Combinedパラメータベクトル 本研究ではこのパラメータベクトルを特徴量として顔、視線方向の推定を行う

7 顔、視線同時推定 Cootesの手法を視線方向に拡張[2] 特徴量 と顔、視線方向の関係をモデル化 最小二乗法で係数ベクトル ～ を学習
特徴量　　と顔、視線方向の関係をモデル化 最小二乗法で係数ベクトル　　～　　を学習 顔水平方向 視線水平方向 Regression model

8 実験条件 実験データ Ishikawaらの手法[3]と比較 視線方向の平均推定誤差、正解率で評価 被験者数 1人 学習データ数 35枚/人
テストデータ 125枚/人 解像度 640*480 顔角度 40°～-40° 視線角度 [3]T.Ishikawa “Passive Driver Gaze Tracking with Active Appearance Models” CMU( 2004 )

9 実験結果

10 実験結果

11 実験条件（追加実験） 実験データ Ishikawaらの手法[3]と比較評価 視線水平方向の正解率で評価 被験者数 ４人 学習データ数
63枚/人 テストデータ 252枚/人 解像度 640*480 顔角度 20°～-20° 視線角度 [3]T.Ishikawa “Passive Driver Gaze Tracking with Active Appearance Models” CMU( 2004 )

12 実験結果

13 デモ

14 ご静聴ありがとうございました Thanks to your kind attention.

15

16 [補足]回帰式の導出 特徴量 と顔方向 、視線方向 のモデル化 R α α＋Φ β β＋θ Face Face Rotation
特徴量　　と顔方向　　、視線方向　　のモデル化 Face Face R Rotation Feature point r α α＋Φ β β＋θ Image plane Image plane

17 [補足]回帰式の導出 変位量　　　の計算 回帰式の提案 最小二乗法で回帰係数　　 ～　　を学習 ただし、

18 [補足]回帰式の提案 回帰式の提案 回帰係数ベクトル ～ を最小二乗法で学習 顔水平方向 視線水平方向 Nonlinear model
回帰係数ベクトル　　～　　を最小二乗法で学習　 顔水平方向 視線水平方向 Nonlinear model Linear model Semilinear model

19 [補足]実験結果（追加実験）

20 [補足]実験結果（追加実験）

21 [補足]実験結果（追加実験）

22 [補足]実験結果（追加実験）