感情推測システム構築のための顔表情認識の実践

Presentation on theme: "感情推測システム構築のための顔表情認識の実践"— Presentation transcript:

1 感情推測システム構築のための顔表情認識の実践
wataru B2　LifeCloud所属 親：hiroponさん,guroさん

2 概要 感情推定システムの構築の主要素となる画像処理による顔表情認識の実践をしてみる

3 背景 機械と人間とがコミュニケーションを行う機会が増えている 機械が人間の感情を理解することが重要 人間同士ではどうしているのか？

4 人はどうコミュニケーションしてる？ 実は大部分が非言語コミュニケーション Ex.メラビアンの法則

5 非言語コミュニケーションで感情を推定するには
顔表情である程度感情を推測するのは可能 しかし精度が低い Ex.ポーカーフェイスなど なにいってんだｗ

6 研究の最終目的 感情推測システムの構築 今期は顔表情認識をしてみる 顔表情認識による感情推測 その場の状況による感情推測
その人の状態による感情推測 今期は顔表情認識をしてみる

7 既存研究 顔動画像からの特徴点抽出を用いた表情認識 動的表情認識による感情推定手法に関する基礎研究 ニューラルネットワークを用いた顔表情認識
岐阜大学大学院工学化研究科応用情報学専攻修士論文　叶冠峰 動的表情認識による感情推定手法に関する基礎研究 京都大学大学院エネルギー科学研究科エネルギー社会・環境科学専攻修士論文　國 弘 威 ニューラルネットワークを用いた顔表情認識 東北大学大学院工学研究科電気・通信工学専攻　小谷中洋介

8 アプローチ カメラ画像を用いて人の顔表情を推定する 6種類の表情を推定 驚き,おそれ,嫌悪,怒り,喜び,悲しみ

9 流れ 表情変化量抽出部分 顔領域抽出 顔器官抽出 特徴点抽出 特徴量抽出 表情認識部分

10 顔領域抽出 肌色検知 RGB表出系->YCbCr表出系 CbとCrの値を閾値にして2値化

11 顔器官の抽出 目,眉,口の検出 目 白色と黒色のみ 眼球は円 眉 色は黒 横幅は縦幅2倍以上 口 唇色（≒赤色）を検出する色抽出法

12 特徴点の抽出 特徴的な動きをする場所を追跡することによって表情を推測する

13 特徴量の抽出 特徴点抽出で得られる特徴点の変化量を算出する

14 表情認識部 特徴量とAction Unitを対応させることでAction Unitの3領域の組み合わせと表情との対応関係から表情を決定する

15 システム構成図 表情変化量抽出部 表情認識部 Action Unitと表情を対応 出力 顔表情認識 顔領域の抽出モジュール 画像データ
顔領域データ 顔器官の抽出モジュール 認識 目,眉,口領域データ 特徴点の抽出モジュール 特徴点データ 特徴量の算出モジュール 特徴量データ 出力 顔表情認識

16 実装環境 使用ライブラリ OpenCV 使用言語 C++ or Java 使用マシン MacBookAir

17 スケジュール 12月上旬：OpenCV環境構築&基礎知識獲得 12月中旬：顔領域の抽出 12月下旬：顔器官の抽出 1月上旬：特徴点の抽出
1月中旬：特徴量の算出 1月下旬：表情認識部

18 まとめ 感情推定システムを作成する上での主要素である顔表情認識を実践し基本６表情の認識を実践してみる

19 ご静聴ありがとうございました！

20 これからの研究 感情推定システムの作成 表情認識から感情推定してみる その人の状態・その場の状況などの変数も組み合わせてみる

21 ノンバーバルコミュニケーション メラビアンの法則 限定された状況下では
言葉がメッセージ伝達に占める割合は7%,声 のトーンや口調は38 %,ボディーランゲージ55 %であった

22 ノンバーバルコミュニケーションで感情をとる手法
顔表情によるコミュニケーション 表情 視線 声によるコミュニケーション 大きさ、高さ トーン 動作によるコミュニケーション ジェスチャー 腕の動かし方 立ち振る舞い方 雰囲気 その場の状況 その人の状態

23 目的 機械が人間の感情をノンバーバルコミュニケーションを用いて理解させる

24 顔の上部においての特徴的な表情動作