車内状況アウェアネスのための 感情音データベースの設計と評価

Slides:



Advertisements
Similar presentations
知能情報工学 年4月26日 吉川雅博 第3回第3回 k最近傍法. プロトタイプによるNN法の流れ 2 AD変換前処理部特徴抽出部識別部 ・標本化 ・量子化 ・ノイズ除去 ・正規化 識別辞書 (プロトタイプ) 音声や画像 (アナログ信号) 識別 結果 識別が容易な 特徴を抽出 プロトタイプと比較.
Advertisements

1 情報基礎 A 第 9 週 プログラミング入門 VBA の基本文法 1 準備・変数・データの入出力 徳山 豪・全 眞嬉 東北大学情報科学研究科 システム情報科学専攻 情報システム評価学分野.
コンピューター概論 (パソコン編) 慶應義塾大学 環境情報学部一年 祖父江 塁. パソコンとゲーム機、何が違 う? マルチタスク ・ PC は情報を同時に複数処 理することが出来る。 (たくさんの仕事を考えながら同時進 行で進めることでゆっくりだけどた くさんの仕事が出来る。) シングルタスク ・ゲーム機は情報をただひとつだ.
顔表情クラスタリングによる 映像コンテンツへのタギング
中井 彬人・大森 健吾 今井 悠妃・池亀 和明 末松 容子・西島 沙也加
音響モデルを利用したシングルチャネルに よる音源方向推定
音響尤度を用いた マルチスピーカ音響エコーキャンセラの検討
世界に発信!“京都”を伝えるムービー作成プロジェクト
3-Q-28 話者交替を考慮したシステムへの問い合わせと雑談の判別
VBA(Visual Basic Application)を使ったプログラミングの初歩概説
3-Q-29 脳性麻痺構音障害者の音声認識による情報家電操作の検討
雑音重み推定と音声 GMMを用いた雑音除去
顔表情認識のための顔特徴点抽出 徳島大学 大学院 工学研究科 長野 信男.
新感覚音声ゲーム「キキミミ:kikimimi」
状況の制約を用いることにより認識誤りを改善 同時に野球実況中継の構造化
卒業論文 最終発表 WWW情報検索 ナビゲーションシステムの設計と実装
神戸大学工学部 松政 宏典,滝口 哲也,有木 康雄 追手門学院大学経済学部 李 義昭 神戸大学発達科学部 中林 稔堯
3次キュムラントのバイスペクトラムと PCAによる音声区間検出
固定カメラ映像からの音声情報を 用いた映像コンテンツ生成
自閉症スペクトラム障害児と定型発達児の識別に関する音響特徴量選択の検討
Buried Markov Modelを用いた 構音障害者の音声認識の検討
非負値行列因子分解による 構音障害者の声質変換
複数尤度を用いた 3次元パーティクルフィルタによる選手の追跡 IS1-39
受講日:   月  日 暗黙知の見える化ワーク 第3回 コミュニケーションと表情.
音信号表現 音声波形のデジタル化(PCM) サンプリング、標本化定理、量子化 ソースフィルタモデル
Bottom-UpとTop-Down アプローチの統合による 単眼画像からの人体3次元姿勢推定
視点移動カメラにおけるカメラキャリブレーション
広瀬啓吉 研究室 4.音声認識における適応手法の開発 1.劣条件下での複数音源分離 5.音声認識のための韻律的特徴の利用
雑音環境下における 非負値行列因子分解を用いた声質変換
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
1-R-19 発話に不自由のある聴覚障害者の発話音声認識の検討
1-P-6 パラボラ反射板を用いたアクティブマイクロフォンによる方向推定
Specmurtを利用した調波構造行列による 混合楽音解析の検討
TIME SIGNAL: 集合知を利用した赤信号点灯時間の取得手法
NMF と基底モデルを用いた多重楽音解析 2-P-10 中鹿亘 ・ 滝口哲也 ・ 有木康雄 (神戸大) 概要 従来手法の問題点 提案手法
音・音楽の設計と表現Ⅱ キーワード : サンプリング(標本化)、周波数、量子化 音は空気を伝わる波 → 音をデジタル(0と1の数値)にする。
5母音の認識率(wの本数5) フレーム幅5、シフト幅2 全音素の認識率(wの本数5) フレーム幅5、シフト幅3
1-P-25 3次キュムラントバイスペクトラム特徴とReal AdaBoostによる音声区間検出
1-Q-9 SVMとCARTの組み合わせによる AdaBoostを用いた音声区間検出
構音障害者を対象とした混合正規分布モデルに基づく統計的声質変換に関する研究
ニューロマーケティング H 経営学科3年 李 ミヌ.
顔特徴点移動量・点間距離変化量の組み合わせに基づく顔表情認識
非負値行列因子分解に基づく唇動画像からの音声生成
音声情報とベイジアンネットを 用いた感性情報処理システム
Number of random matrices
AIは人間にとって 良いか悪いか 反対:2班の主張.
各会話シーン毎に、発話(音源)方向を推定
Wavelet係数の局所テクスチャ特徴量を用いたGraph Cutsによる画像セグメンテーション
Bottom-UpとTop-Down アプローチの組み合わせによる 単眼画像からの人体3次元姿勢推定
多重ベータ混合モデルを用いた調波時間構造の モデル化による音声合成の検討
過学習を考慮した IS1-60 AAMパラメータの選択と回帰分析による 顔・視線方向同時推定 顔・視線同時推定 研究背景
AdaBoostを用いた システムへの問い合わせと雑談の判別
ブースティングとキーワードフィルタリング によるシステム要求検出
重みつきノルム基準によるF0周波数選択を用いた Specmurtによる多重音解析
バイラテラルフィルタによる実雑音下音声認識 のための音声特徴量抽出
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
尤度最大化基準を用いたエコー推定に基づく 車室内音響エコーキャンセラの検討
車内広告の現状と効果を 高めるための研究 森本 早貴.
音響特徴量を用いた自閉症児と定型発達児の識別
音響伝達特性を用いたシングルチャネル音源方向推定
ロボットから人に話しかける 判断モデルの構築
音響伝達特性を用いた単一チャネル 音源位置推定における特徴量選択の検討
1-Q-12 Buried Markov Modelを用いた構音障害者の音声認識の検討
自己縮小画像と混合ガウス分布モデルを用いた超解像
CSP係数の識別に基づく話者の 頭部方向の推定
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
Normalized Web Distanceを用いた音声認識の誤り訂正法 301-4in
ランダムプロジェクションを用いた音響モデルの線形変換
1-P-2 フィッシャー重みマップに基づく不特定話者音素認識の検討
コンピュータと音 B3 入野仁志(irino).
Presentation transcript:

車内状況アウェアネスのための 感情音データベースの設計と評価 神戸大学 滝口 哲也  有木 康雄

対話システム 現状: ユーザの心理状態によらず,一定の応答 将来: 柔軟な応答 感情に注目し,「その場を読むシステム」 目的地を入力して下さい. 将来: 柔軟な応答 (怒っているみたい) どうしましたか? 感情に注目し,「その場を読むシステム」

目的 「状況や雰囲気を察する」 「場を読む」 (車内)状況アウェアネス 入力:ユーザからの音だけを聞く 「気分が良さそうだ」,「疲れているみたい」 「普通だな」, 「怒っているみたい」 発表内容:感情音データ収録内容,予備実験結果

感情データベース 「状況」や「感情」を設定し,即興で発話を行う. 1.好きな音楽が流れて喜んでいる. 2.テレビに流れている情報を見て,喜んでいる.   または,ラジオ等を聞いて喜んでいる. 3.外の景色を見て,気分が良い. 4.渋滞等で,いらいらしている. 5.仕事や遊びで疲れている. 6.眠気がしている.

感情データベース(2) 「状況」や「感情」を設定し,即興で発話を行う. 7.道を間違えた. (他人の指示が間違えていた.怒っている.)   (他人の指示が間違えていた.怒っている.) 8.道を間違えた.(自分のミスで間違えた.) 9.気分が良い.うれしい.楽しい. 10.疲れている. 11.怒っている. 12.通常な状況. 各自が任意の 状況を設定.

収録データ 状況4(渋滞でいらいらしている) 状況11(怒っている) 状況11(怒っている) 「甲子園での阪神ー巨人戦 観戦の帰り. 「甲子園での阪神ー巨人戦 観戦の帰り. 優勝がかかっているのに誤審により阪神は負けた.」 状況11(怒っている) 「必要以上のクラクションを相手の車に鳴らされた.」

収録背景

感情識別 特徴量 : ピッチ,パワー,MFCC  (言語情報) 「怒り」 「通常」

実験結果 「怒り」と「通常」の識別 Recognition rate [%]

まとめ 車内状況アウェアネスのための感情音データ ベースの内容について述べた. 今後: 感情識別・(除去)に適した特徴量 表情データの利用

被験者の年齢層・男女別人数 [人数]

発話時間の分布 90 80 70 60 頻度 50 40 30 20 10 5 15 25 35 45 55 65 時間 [sec]

収録条件 サンプリング周波数 44 kHz 量子化ビット数 マイクロフォン 24 bit Hi-Visionカメラ SONY ECM-66B Victor GR-HD1 (1280×720)

収録データ 状況2(喜んでいる) 状況9(気分が良い.) 「テレビCM: QPパスタソースたらこを見ている.」 「甲子園での阪神ー巨人戦 観戦の帰り. この日,阪神は優勝を決めた.」

状況設定例