顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男.

Slides:



Advertisements
Similar presentations
静脈画像を鍵とする暗号化手 法に関する研究 大山研究室 安藤のぞみ. 研究の背景、目的 近年、バイオメトリクス認証が注目されて いる 静脈は身体内部の情報 → 偽造に強い 環境に左右されることが少ない 利用者の心理的抵抗が軽減される オープンなネットワークへのバイオメトリ クス認証の適用 : Double.
Advertisements

生体情報を利用したオンライン認証システムに関する研 究 情報工学科 大山・山口・小尾研究室 学士課程4年田中 丈登.
高度情報演習 1A “ テーマC ” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 芝浦工業大学 工学部 情報工学科 青木 義満 2006/04/10.
自動映像生成のための パーティクルフィルタによるボールの追 跡 2007 年 3 月 21 日 神戸大学大学院自然科学研究科 矢野 一樹.
顔表情クラスタリングによる 映像コンテンツへのタギング
ユーザの表情に基づく 映像コンテンツへのタギング
顔表情からの関心度推定に基づく 映像コンテンツへのタギング
コンピュータビジョン特論 OpenCVについて
画像処理学習用RTコンポーネントライブラリ 田窪 朋仁,大原 賢一,吉岡 健伸(大阪大学)
Building text features for object image classification
HOG特徴に基づく 単眼画像からの人体3次元姿勢推定
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第四回 演習課題 画像中からの物体抽出処理(背景情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/15.
パネル型クエリ生成インタフェース画像検索システムの改良
ロボットビジョン(ロボットの視覚能力)のための デジタル画像処理
「わかりやすいパターン認識」 第1章:パターン認識とは
リアルタイム単語認識技術を利用した カメラベース情報取得システム
画素密度検出エージェントを用いた文字列の検出と文字切り出し
ライフログデータとしての笑顔の蓄積システムの提案
• Top-hat transformation(TH)による特徴抽出
情報工学科 05A2301 樽美 澄香 (Tarumi Sumika)
感情推測システム構築のための顔表情認識の実践
OpenCV を使った画像処理コンポーネントの作成例 田窪 朋仁(大阪大学)
形態素解析および係り受け解析・主語を判別
Yahoo! インターンシップ プレゼンテーション選考 2015/7/3(金) 10:00~ 石川智己
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第三回 演習課題 画像中からの物体抽出処理(色情報を手がかりとして) 芝浦工業大学 工学部 情報工学科 青木 義満 2006/05/08.
2007年度 長岡技術科学大学オープンハウス 半透明人間
果物識別 マハラノビス距離を求める.
高度情報演習1C 実践 画像処理プログラミング
長岡技科大オープンハウス 岐阜高専4年電子制御工学科 森 永二郎.
顔部品の検出システムの構築 指導教員 廉田浩 教授 1DS04188W  田中 甲太郎.
受講日:   月  日 暗黙知の見える化ワーク 第3回 コミュニケーションと表情.
~Lookie~ WEBカメラを用いた対話時における 視線不一致問題の解決手法の提案と 解決支援機構の開発
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
表色系 色を合成するのに、光のRGBで合成する加法混色や、絵の具のようなC(シアン)Y(黄色)M(マゼンタ)で合成する減法混色などが知られているが、このように、色は独立した3つの成分で表現できる(表色系という)とされています。 映像信号を扱う場合には通常RGB表色系を使います。これは撮像する時、モニターで表示する時はRGBの加法混色であることに由来しています。RGB表色系を用いた別の表現として、YUV表色系があります。これはY(輝度)とU,V(二つの色差)で色を表すもので、色々定義があります。YUVという
視点移動カメラにおけるカメラキャリブレーション
-Lookie- WEBカメラを用いた対話時における視線不一致問題の解決手法の提案
第11回   ディジタル画像(2) ディジタル画像処理(2)
動的依存グラフの3-gramを用いた 実行トレースの比較手法
画像処理工学 2013年1月23日 担当教員 北川 輝彦.
広瀬啓吉 研究室 4.音声認識における適応手法の開発 1.劣条件下での複数音源分離 5.音声認識のための韻律的特徴の利用
中京大学 情報理工学部 機械情報学科 H 野口裕司
高度情報演習1A “テーマC” 実践 画像処理プログラミング 〜画像認識とCGによる画像生成〜 第二回 演習課題
高度情報演習1C 実践 画像処理プログラミング 第二回 演習課題
雑音環境下における 非負値行列因子分解を用いた声質変換
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
構造情報に基づく特徴量を用いた グラフマッチングによる物体識別 情報工学科 藤吉研究室  EP02086 永橋知行.
コードクローン検出ツールを用いた ソースコード分析システムの試作と プログラミング演習への適用
深層学習を用いた音声認識システム 工学部 電気電子工学科 白井研究室 T213069 林健吉.
中京大学 工学部 電気電子工学科 白井研究室 4年 T 為房直人
東京農業大学 東京情報大学 附属第一高等学校・中等部 附属第二高等学校 附属第三高等学校・中等部
人物の顔情報に基づくコンテンツの解析 岡田朋子 滝口哲也 有木康雄 神戸大学 …という題目で神戸大学の岡田が発表致します。
画像の情報量 Copyright(C)2008 Tsutomu Ohara All rights reserved.
複数特徴量の重み付け統合による一般物体認識
FACS(Facial Action Coding System)
一方向画像からの 3Dモデル生成 電気電子工学科 白井研究室 T215049 田原 大輝.
物体検出による視覚補助システム T215085 若松大仁 白井研究室.
構音障害者を対象とした混合正規分布モデルに基づく統計的声質変換に関する研究
顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識
音声情報とベイジアンネットを 用いた感性情報処理システム
SIFTとGraph Cutsを用いた 物体認識及びセグメンテーション
Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
2007年度 長岡オープンハウス クロマキー合成 小山高専 電子制御工学科4年                       針谷 尚裕.
「ICAによる顔画像特徴量抽出とSVMを用いた表情認識」
画像処理工学 2011年12月1日 担当教員 北川 輝彦.
2006年度 オープンハウス 画像からの顔領域の摘出
地理情報システム論 第4回 コンピュータシステムおける データ表現(2)
クローン検出ツールを用いた ソフトウェアシステムの類似度調査
市松模様を使用した カメラキャリブレーション
人物再識別システムの 試作と評価 飯塚 敦志.
Presentation transcript:

顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男

研究の背景 人同士のコミュニケーションは言語情報が中心 言語情報 非言語情報 視覚・聴覚等の非言語情報も利用 会話の内容を総合的に理解し,コミュニケーションが成立

研究の背景 人と機械のコミュニケーションの場合 言語情報 非言語情報 言語情報のみの利用 会話の意味解釈に不十分 表情 ,声調 ,態度などの非言語情報を利用した 会話理解システムの開発が望まれている

研究の目的 前段階として, 入力画像から顔特徴点抽出 感情が認識できれば会話文の意味理解が可能 機械と今以上の高度なコミュニケーションをとることが 可能 表情を認識し,感情を推定する会話理解システムを構築 前段階として,    入力画像から顔特徴点抽出

表色系(1/2) RGB表色系 HSV表色系 光の3原色である R(レッド),G(グリーン), B(ブルー) で表現 光の3属性である 色相,彩度,明度 で表現

表色系(2/2) YIQ表色系 輝度情報と色差情報に分離することができる表色系の一つ TV放送の規格としてNTSC方式が採用

顔領域抽出 人間の肌 修正HSV変換を用いて肌領域の抽出 修正HSV変換 人種・民族の多様性にも関わらず色相が一定 一般的な背景よりも比較的彩度が高い 修正HSV変換を用いて肌領域の抽出 修正HSV変換 顔領域抽出のために,松橋らによって HSV表色系に改良が加えられたもの

修正HSV変換 入力画像 色相 明度 彩度

顔領域抽出 表情の変化に重要 目,眉,口を抽出 顔器官抽出 人間の肌は一般的な背景よりも彩度が高い 色相成分より肌領域候補を抽出 服は肌より彩度が高い 服装の分離 彩度成分を用いて背景を分離

目領域抽出 修正HSV変換時に生じるホールを使用 ホールの分布は個人差が大きい 彩度と明度の差を解析することで抽出 輪郭点が正確に抽出できない 明度成分にエッジ検出を施し抽出 明度成分 エッジ検出

眉候補の有無の判定をし,存在していれば抽出処理続行 眉領域抽出 帽子や髪で隠れていれば抽出は不可能 眉候補の有無の判定をし,存在していれば抽出処理続行 明度成分 エッジ検出 2値化

口領域抽出 YIQ表色系Q成分を用いて抽出 YIQ表色系 Q成分 頬や鼻と誤認識してしまう可能性 顔の正中線情報を使用

特徴点抽出 画像中から抽出する特徴点以外に,目頭間の中心点を顔の中心点と定め使用 表情による変化が少ない目尻間の距離値を用いて正規化

評価実験(1/2) 入力画像 7表情 評価方法 人数 17人 1人につき7種類の表情 合計 252枚 無表情 幸福 驚き 嫌悪 恐怖 悲しみ 怒り 評価方法 抽出成功率= 抽出成功数 入力画像数

評価実験(2/2) 99% 92% 81% 100% 96% 92% 83% 75% 58% 抽出領域 成功率 顔領域抽出 目領域抽出 眉領域抽出 81% 口領域抽出 無表情 幸福 驚き 嫌悪 恐怖 悲しみ 怒り 顔領域抽出 100% 96% 目領域抽出 92% 83% 75% 眉領域抽出 口領域抽出 58%

まとめと今後の課題 まとめ 顔表情認識の前段階として顔特徴点の抽出を行い,顔領域抽出についてほぼ100%,各顔器官の抽出においても一定の結果を得ることに成功 今後の課題 異なる条件下での実験 抽出成功率の向上 表情認識部の構築

システムの概要 入力(画像ファイル) 表情解析部 前処理部 辞書 顔領域抽出部 比較・照合 識別演算部 特徴点抽出部 画像情報解析部 出力(7表情)

FACS (facial action coding system) EkmanとFriesenが提案した表情の合成法で,表情の変化を主観的に表現 顔表面に現れる顔面筋の動きを44種類の基本単位AU(Action Unit)に分類 AUは個々が独立した視覚的に識別可能な最小単位 医学,心理学,行動学など種々の学問領域において不可欠な研究手段 動作AU No. 1 眉の内側を上げる No. 2 眉の外側を上げる No. 12 唇両端を引き上げる No. 44 細目

特徴量算出 距離値と角度値 抽出が容易 表情の変化に関与 AUに対応 計21個の特徴量を算出