顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男.

Presentation on theme: "顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男."— Presentation transcript:

1 顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男

2 研究の背景 人同士のコミュニケーションは言語情報が中心 言語情報 非言語情報 視覚・聴覚等の非言語情報も利用
会話の内容を総合的に理解し，コミュニケーションが成立

3 研究の背景 人と機械のコミュニケーションの場合 言語情報 非言語情報 言語情報のみの利用 会話の意味解釈に不十分
表情 ，声調 ，態度などの非言語情報を利用した 会話理解システムの開発が望まれている

4 研究の目的 前段階として， 入力画像から顔特徴点抽出 感情が認識できれば会話文の意味理解が可能
機械と今以上の高度なコミュニケーションをとることが 可能 表情を認識し，感情を推定する会話理解システムを構築 前段階として， 　　　入力画像から顔特徴点抽出

5 表色系（１/２） RGB表色系 HSV表色系 光の３原色である R（レッド）,G（グリーン）, B（ブルー） で表現 光の３属性である
色相，彩度，明度 で表現

6 表色系（２/２） YIQ表色系 輝度情報と色差情報に分離することができる表色系の一つ TV放送の規格としてNTSC方式が採用

7 顔領域抽出 人間の肌 修正HSV変換を用いて肌領域の抽出 修正HSV変換 人種・民族の多様性にも関わらず色相が一定
一般的な背景よりも比較的彩度が高い 修正HSV変換を用いて肌領域の抽出 修正HSV変換 顔領域抽出のために，松橋らによって HSV表色系に改良が加えられたもの

8 修正HSV変換 入力画像 色相 明度 彩度

9 顔領域抽出 表情の変化に重要 目，眉，口を抽出 顔器官抽出 人間の肌は一般的な背景よりも彩度が高い 色相成分より肌領域候補を抽出
服は肌より彩度が高い 服装の分離 彩度成分を用いて背景を分離

10 目領域抽出 修正HSV変換時に生じるホールを使用 ホールの分布は個人差が大きい 彩度と明度の差を解析することで抽出
輪郭点が正確に抽出できない 明度成分にエッジ検出を施し抽出 明度成分 エッジ検出

11 眉候補の有無の判定をし，存在していれば抽出処理続行
眉領域抽出 帽子や髪で隠れていれば抽出は不可能 眉候補の有無の判定をし，存在していれば抽出処理続行 明度成分 エッジ検出 2値化

12 口領域抽出 YIQ表色系Q成分を用いて抽出 ＹＩＱ表色系 Ｑ成分 頬や鼻と誤認識してしまう可能性 顔の正中線情報を使用

13 特徴点抽出 画像中から抽出する特徴点以外に，目頭間の中心点を顔の中心点と定め使用 表情による変化が少ない目尻間の距離値を用いて正規化

14 評価実験（１/２） 入力画像 ７表情 評価方法 人数 １７人 １人につき７種類の表情 合計 ２５２枚 無表情 幸福 驚き 嫌悪 恐怖 悲しみ
怒り 評価方法 抽出成功率＝ 抽出成功数 入力画像数

15 評価実験（２/２） 99% 92% 81% 100% 96% 92% 83% 75% 58% 抽出領域 成功率 顔領域抽出 目領域抽出
眉領域抽出 81% 口領域抽出 無表情 幸福 驚き 嫌悪 恐怖 悲しみ 怒り 顔領域抽出 100% 96% 目領域抽出 92% 83% 75% 眉領域抽出 口領域抽出 58%

16 まとめと今後の課題 まとめ 顔表情認識の前段階として顔特徴点の抽出を行い，顔領域抽出についてほぼ100％，各顔器官の抽出においても一定の結果を得ることに成功 今後の課題 異なる条件下での実験 抽出成功率の向上 表情認識部の構築

17 システムの概要 入力（画像ファイル） 表情解析部 前処理部 辞書 顔領域抽出部 比較・照合 識別演算部 特徴点抽出部 画像情報解析部
出力（７表情）

18 ＦＡＣＳ (facial action coding system）
EkmanとFriesenが提案した表情の合成法で，表情の変化を主観的に表現 顔表面に現れる顔面筋の動きを44種類の基本単位AU（Action Unit）に分類 AUは個々が独立した視覚的に識別可能な最小単位 医学，心理学，行動学など種々の学問領域において不可欠な研究手段 動作AU No. 1 眉の内側を上げる No. 2 眉の外側を上げる No. 12 唇両端を引き上げる No. 44 細目

19 特徴量算出 距離値と角度値 抽出が容易 表情の変化に関与 AUに対応 計２１個の特徴量を算出