顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識

Presentation on theme: "顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識"— Presentation transcript:

1 顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識
神戸大学工学部　 宮原正典・滝口哲也・有木康雄

2 研究の背景 人とシステムのコミュニケーション→表情認識の必要性 Ekmanらは，基本6表情が，人間にとって普遍的な表情であることを示した
基本6表情を基底とし，複雑な表情を表現する試みもある 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 基本6表情認識とその精度向上は重要な課題

3 従来の研究とその問題点 顔の特徴的な点の動きを特徴量とするもの 特徴点が抽出できれば、比較的良好な認識精度
Gabor+EBGM等の手法で特徴点の自動抽出は可能 顔のどの点のどのような動きに着目すればよいかは，主観的に決められているものが多い 認識に重要な特徴を自動的に発見することができれば表情認識性能の向上が期待できる 問題点

4 提案手法（特徴ベクトルの定義） 特徴点移動量 全特徴量ベクトル （６２９次元） ベクトル (68次元) 特徴点間距離変化量
ベクトル　 (68次元) 全特徴量ベクトル　（６２９次元） 特徴点間距離変化量 ベクトル　(561次元)

5 提案手法(組み合わせ最適化) 局所探索法(Local Search)
全特徴ベクトルv R(a1)=0.71 R(a2)=0.68 R(a3)=0.75 R(a4)=0.74 R(a5)=0.70 R(a6)=0.73 R(a7)=0.72 R(a8)=0.69 R(a9)=0.74 R(a)=0.73 R(a1)=0.71 R(a2)=0.68 R(a3)=0.70 R(a4)=0.65 R(a5)=0.72 R(a6)=0.71 R(a7)=0.73 R(a8)=0.72 R(a9)=0.70 R(a)=0.70 初期解a 評価が最大の近傍 aの近傍 a1 a4 a7 a2 a5 a8 a3 a6 a9

6 提案手法(解の評価) NN SVM 7×10 5×10 評価基準・・・その特徴を用いたときのCV法による6表情認識率
従来の６表情認識に使われている認識器 ニューラルネットワーク(NN) サポートベクターマシーン(SVM) 近傍数は，20次元固定の場合でも12180個 NNやSVMだと探索１周に約3ヶ月かかる ⇒一般回帰ニューラルネットワーク(Specht,1991)を採用 NN SVM 近傍１個あたりの評価時間(秒) 7×10 5×10 2 2

7 一般回帰ニューラルネット(GRNN) 教師ラベルt1 0 or 1 1番目の学習データx1 x z x1 出力関数z(x) 入力データ /
怒り 嫌悪 恐怖 喜び 悲しみ 驚き t1 / x2 / t2 / / x xP / tP 総和ニューロン ∑ 入力層 第1隠れ層 第2隠れ層 出力層

8 提案手法(認識器の使い分け) GRNNの特徴
学習は必要なく，テストには学習データ数に比例した時間がかかるが，トータルでみるとNNやSVMよりも　高速（本研究の条件では100倍程度） 認識性能自体はNNやSVMよりも若干劣る GRNNを評価関数とする局所探索法で，最適な特徴を発見し， その特徴を用いて，GRNN,NN,SVMのいずれかで 最終的な6表情認識を行う

9 実験内容 JAFFE(10人183枚)とCMU(93人328枚)データベースを使用
半分はCVに，残り半分は終了判定にのみ用いる 初期解として，従来手法で用いられている20次元の特徴ベクトルを使用し，局所探索の解は20次元で固定 GRNNを評価関数に用いた局所探索法で最適(近似)解を発見した後，GRNN,NN,SVMで6表情(怒り，嫌悪，恐怖，喜び，悲しみ，驚き)の認識 怒り 嫌悪 恐怖 喜び 悲しみ 驚き

10 実験結果 初期解 最適解

11 まとめ 考察 人間が主観で選んだ特徴よりも，局所探索法による最適な特徴を用いた方が認識性能が向上
高速なGRNNを用いて特徴量の探索を行い，認識性能の高いSVMで認識を行うことで，性能向上 今後の方針 顔特徴点の自動抽出の実装 最適解の探索方法の改良 より複雑な感情・関心度などの認識

12

13 提案手法の流れ 組み合わせ 最適化 　特徴抽出 　　全特徴ベクトル 　　最適な特徴ベクトル 6表情認識

14 ニューラルネットワーク(NN) 怒り 嫌悪 恐怖 喜び 悲しみ 驚き 入力層 隠れ層 出力層 x y z

15 一般回帰ニューラルネット(GRNN) / x2 x1 xP ∑ x z t1 t2 tP 入力層 第1隠れ層 出力層 第2隠れ層 怒り 嫌悪
恐怖 喜び 悲しみ 驚き

16 サポートベクターマシーン(SVM) Margin Support Vector H2 H1 Class1 Class-1

17 実験結果 初期解 全特徴 最適解 初期解 最適解

18 感情別認識結果

19 Confusion Matrix(初期解+SVM)
怒 り 嫌 悪 恐 怖 幸 せ 悲 し み 驚 き 正 解 数 画 像 認 識 率 怒り 10 8 1 27 0.37 嫌悪 6 12 5 24 0.50 恐怖 22 4 11 2 41 0.54 幸せ 55 62 0.89 悲しみ 39 46 0.85 驚き 47 49 0.96 合計 185 249 0.743

20 Confusion Matrix(最適解+SVM)
怒 り 嫌 悪 恐 怖 幸 せ 悲 し み 驚 き 正 解 数 画 像 認 識 率 怒り 14 8 1 4 27 0.52 嫌悪 12 3 24 0.50 恐怖 26 2 41 0.63 幸せ 59 62 0.95 悲しみ 40 46 0.87 驚き 47 49 0.96 合計 198 249 0.795

21 使用したデータベースの詳細 人 数 画 像 怒 り 嫌 悪 恐 怖 喜 び 悲 し み 驚 き JAFFE 10 183 30 29 32
31 CMU 93 328 28 47 90 57 74 JAFFE 日本人女性のみ，無表情+6表情の静止画 CMU 各国男女，無表情→6表情の動画から切り出し

22