自然発話に現れる感動詞の 発話スタイルとパラ言語的機能の分析

Slides:



Advertisements
Similar presentations
音声イメージの 製品開発への応用 2000/11/8 オムロン ( 株 ) IT 研究所 大本浩司 日本心理学会第 64 回大会.
Advertisements

大規模コーパスから獲得した 名詞の出現パターンを用いた 事態名詞の項構造解析
日本人学習者による英語音声の 韻律に関する研究
卒研のようなもの 圧縮ちーむ 2008.4.22 鴫原、山本、齋藤.
レポートの作成 効果的な発表の仕方.
連続音声の音響的性質.
8 人間関係の中で育つ −社会性の発達−.
音声の個人性 発声器官のサイズの違いによるもの 口の大きさと声帯の大きさ 発話の仕方の違いによりもの アクセント 口の動かし方
英語の母音の長さを測定する(2).
音声からの心的状態の推定における 生理心理学的アプローチの導入
4.「血液透析看護共通転院サマリーVer.2」 の説明
情報は人の行為に どのような影響を与えるか
3-Q-28 話者交替を考慮したシステムへの問い合わせと雑談の判別
沈黙の文化について 201100661 김 오윤.
車内状況アウェアネスのための 感情音データベースの設計と評価
日本の高校における英語の授業を 英語で行うべきか
大学での講義中の スマートフォンの私的使用 ―その頻度と内容-
雑音重み推定と音声 GMMを用いた雑音除去
通訳の原理 理解→転換→表出のプロセスについて.
レポート課題2(2010中村) 理科二類8組 050100H 小山奈々.
二者会話場面における指示詞(コソア)の選択
状況の制約を用いることにより認識誤りを改善 同時に野球実況中継の構造化
PSOLA法を用いた極低ビットレート音声符号化に関する検討
3次キュムラントのバイスペクトラムと PCAによる音声区間検出
音声処理ソフトPraatの使い方.
「自分を理解し、理解してもらいたい」 自然な感情
動詞の共起パターンを用いた 動作性名詞の述語項構造解析
自閉症スペクトラム障害児と定型発達児の識別に関する音響特徴量選択の検討
Buried Markov Modelを用いた 構音障害者の音声認識の検討
非負値行列因子分解による 構音障害者の声質変換
複数の言語情報を用いたCRFによる音声認識誤りの検出
-Lookie- WEBカメラを用いた対話時における視線不一致問題の解決手法の提案
広瀬啓吉 研究室 4.音声認識における適応手法の開発 1.劣条件下での複数音源分離 5.音声認識のための韻律的特徴の利用
雑音環境下における 非負値行列因子分解を用いた声質変換
音響伝達特性を用いた単一マイクロホンによる話者の頭部方向の推定
新しいSNSの提案 島本 尋史.
12. 意味・意図の解析 12.1 意味表現とは 12.2 規則による意味解析処理 12.3 統計的な意味解析処理 12.4 スマートフォンでの音声サービス ニューラルネットワークによる意味解析.
2018/9/10 ACL読み会 名古屋大学大学院 M2 佐藤・松崎研 土居裕典.
5母音の認識率(wの本数5) フレーム幅5、シフト幅2 全音素の認識率(wの本数5) フレーム幅5、シフト幅3
受講日:   月  日 暗黙知の見える化ワーク 第1回 コミュニケーションとは.
2. 音声とは 2.1 音声の科学 2.2 どうやって声を作るか ー調音音声学 2.3 声の正体とは ー音響音声学 2.4 どうやって声を聴き取るか ー聴覚音声学.
レビューとは (プロジェクト管理の観点から)
母音[i]のF1, F2平均値の分析.
発話動作のしくみ.
1-P-25 3次キュムラントバイスペクトラム特徴とReal AdaBoostによる音声区間検出
バイラテラルフィルタを用いた音声特徴量抽出 2-Q-6
構音障害者を対象とした混合正規分布モデルに基づく統計的声質変換に関する研究
非負値行列因子分解に基づく唇動画像からの音声生成
音声情報とベイジアンネットを 用いた感性情報処理システム
Number of random matrices
NetMeeting ~ドイツ語授業形態としての提案
CSJセミナー参加報告 北村・徳田研究室 中村和寛.
AdaBoostを用いた システムへの問い合わせと雑談の判別
ブースティングとキーワードフィルタリング によるシステム要求検出
英語音声学(6) イントネーション.
構造的類似性を持つ半構造化文書における頻度分析
重みつきノルム基準によるF0周波数選択を用いた Specmurtによる多重音解析
バイラテラルフィルタによる実雑音下音声認識 のための音声特徴量抽出
明示的文法知識が 正確な言語使用に結びつかないケース 浦野 研(北海学園大学)
1ーQー18 音声特徴量抽出のための音素部分空間統合法の検討
呂 雷寧 RO, Rainei (上海財経大学 外語学院・ 常勤講師)
1-Q-12 Buried Markov Modelを用いた構音障害者の音声認識の検討
ソースフィルタモデル.
派遣先企業の皆様へ ご協力のお願い 聴くチカラ 伝えるチカラ 遂げるチカラ 律するチカラ
CSP係数の識別に基づく話者の 頭部方向の推定
Normalized Web Distanceを用いた音声認識の誤り訂正法 301-4in
雑音環境下における Sparse Coding声質変換 3-P-49d
1-P-2 フィッシャー重みマップに基づく不特定話者音素認識の検討
黒部 五郎(Goro Kurobe) 13990789 富山大学自然資源学部
話し言葉における「け(れ)ど(も)」の使用 ―「が」との比較を通じて― 1.研究目的及び研究方法 ◆研究目的
Presentation transcript:

自然発話に現れる感動詞の 発話スタイルとパラ言語的機能の分析 第6回幼児のコモンセンス知識研究会 自然発話に現れる感動詞の 発話スタイルとパラ言語的機能の分析 石井カルロス寿憲 Intelligent Robotics and Communication Laboratories ATR, Kyoto, Japan

背景:言語情報とパラ言語・非言語情報を考慮した音声理解 Breathy/Whispery voice 言語に依存しない 特徴抽出 スペクトル 特徴抽出 音声認識 (言語情報) 発話内容  Audio signal 音声理解 韻律・声質の 特徴抽出 パラ言語情報 抽出 対話処理部へ 意図 態度 感情 Breathy/Whispery voice Harsh voice Creaky voice Pressed voice 感動詞(応答詞・感嘆詞・間投詞)は特に発話スタイル(韻律・声質)によって伝達されるパラ言語機能が変わる 本研究: 自然発話に出現するさまざまな感動詞について分析

背景: 声質に関して これまでのパラ言語情報(発話意図、態度、感情など)の抽出に関する多くの研究は基本周波数(F0)・パワー・持続時間などの韻律特徴を重視して来たが、最近の研究では声質情報の重要性も示されている 特に表現豊かな発話音声(expressive speech)では、声帯の振動モードによるnon-modal(気息性、非周期性など)の声質が現れやすく、F0さえ抽出できない場合も多いので、声質情報は重要となる 声質は、modal (通常発声), breathy及びwhispery (気息性を含んだ発声), vocal fryまたはcreaky (フライ発声;非常に低くパルス的な声), harsh またはventricular (雑音的で耳障りのある声), pressed (喉頭を緊張させたりきみ発声) 及び、これらの声質の組み合わせ(hw, pcなど)によって表現できる

分析用の音声データ 3種類の自然発話音声データベース: JST/CREST ESP自然会話音声データベース 20代~40代の話者10名(女性7名,男性3名) 1対話当たり,20~30分程度; 家族,友人,他人との会話を含む  CSJ「日本語話し言葉コーパス」の対話データ(D01~D04) 20代~50代の男女 1対話当たり,10分程度; 親しい間柄や,職場・年齢の立場で上下関係が生じる話者同士の対話を含む  ATR・IRC研で収録したマルチ・モーダル自然対話音声データベース 20代~50代の話者7名(女性3名,男性4名) 1対話当たり,10~15分程度;  本研究では音声と書き起こしデータのみを使用

テキスト検索による感動詞のリストと出現数 分析対象とする感動詞 テキスト検索による感動詞のリストと出現数 え・えー 12729 はい・はーい 13044 うん・ふん 51240 は・はー・はん 321 あ・あー 29710 いいえ・いえ 211 あん・あーん 498 いや・いやー 3372 へ・へー 2381 や・やー 689 お・おー 452 あら・ありゃ 145 おん・おーん 168 あれ・あれー 295 ほ・ほー 1212 わ・わー・うわー 367 ほん・ほーん 527 「なるほど」、「なんか」、「えっと」、「でー」などの感動詞もテキスト検索で識別されたが、これらがもたらす機能のバリエーションは比較的少ないため、分析から除外した

感動詞の機能のラベリング 各感動詞のグループにおける発話リストを整理し、各感動詞のグループにおけるパラ言語情報のバリエーションを母語話者2名により、ラベル付与  各感動詞におけるパラ言語情報の項目の候補を、オンライン国語辞書及び過去の研究に基づいて準備  被験者の判断により、新しい項目を自由に追加可能 被験者2名が付与したラベルは第3者の被験者が統一

感動詞の発話スタイルと機能の分析: 「え・えー」 感動詞の発話スタイルと機能の分析: 「え・えー」 短い下降調: 肯定的反応(肯定、同意、承諾、理解、相槌など) 短い上昇調: 聞き返し・意外 上昇調+気息音・Harsh発声: 意外+驚き 長い上昇調: 否定的反応(不満、嫌悪、非難、疑いなど) 弱く長い平坦調: 考え中(フィラー)、発話の準備(オープナー) 長い平坦・上昇調: 感心、同情 長い+りきみ発声: 深い驚き、深い同情 短い下降調の連続: 同意、理解

感動詞の発話スタイルと機能の分析: 「うん・ふん」 感動詞の発話スタイルと機能の分析: 「うん・ふん」 発話「え」との類似: 短い下降調: 肯定的反応(肯定、同意、承諾、理解、相槌など) 短い上昇調: 聞き返し・意外 気息音・Harsh発声: 意外+驚き 長い上昇調: 否定的反応(不満、嫌悪、非難、疑いなど) 弱く長い平坦調: 考え中(フィラー)、発話の準備(オープナー) 長い平坦・上昇調: 感心、同情 短い下降調の連続: 同意、理解 発話「え」との違い: 上昇下降調: 否定(打ち消し) 長い+りきみ発声: 深く考えている・悩んでいる、躊躇

感動詞の発話スタイルと機能の分析: 「あ・あー」 感動詞の発話スタイルと機能の分析: 「あ・あー」 短い平坦調: 気付き、思い出した時 短い平坦調+気息音: 気付き+驚き 長い+下降調: 理解・同意・肯定 発話頭の短い「あ」: 後続発話を和らげる「クッション的」役割; 「あ、そうです か」 下降調の連続: ピッチの立て直しが小さい場合: 理解・同意          ピッチの立て直しが明確場合: 同情、残念、 がっかり 下降上昇調: 同上

感動詞の発話スタイルと機能の分析: 「へ・へー」 感動詞の発話スタイルと機能の分析: 「へ・へー」 短い下降調: 肯定的反応 短い上昇調: 聞き返し 短い上昇調+harsh/whispery発声: 驚き・意外 長い「へーー」: 相槌(対話相手の話を聞いている・興味を持っていることを表 現) 長い「へーー」(単独の場合): 聞き流し、無関心 長い「へーー」+りきみ: 深い感心・驚き

感動詞の発話スタイルと機能の分析: 「はい」 感動詞の発話スタイルと機能の分析: 「はい」 肯定・承諾・相槌・返事としてフォーマルおよびカジュアルな場面で用いられる 「あ・あー」が先行することが多い: 気付き、理解 「はい」の連続+下降イントネーション: 理解、共感 「はい」の連続+最後の「はい」でピッチの立て直し: 「邪魔くさい、もう分かった」の意味が表現

感動詞の発話スタイルと機能の分析:「はー・はーん」 平坦・下降調の「はー・はーん」: 「はい」と「うん・ふん」の間の会話音声; 相 槌・理解 柔らかい声質;短い・長い・連続: 対話者との間に距離がある場合; 謙遜 長い「はー」: 感心、驚き、理解 長い「はー」+りきみ発声: 感心・驚きの度合いが増す 長い「はー」+下降調+気息音発声: ため息 短い上昇調+柔らかい声質: 聞き返し 長い上昇調+硬い声質?: 否定的反応(非難)?

感動詞の発話スタイルと機能の分析: 「お・おん」 感動詞の発話スタイルと機能の分析: 「お・おん」 短い「お」: 驚き、気付き  長い「おー」、「おん」: 「あー」「うん」のカジュアル形; 理解 「おお」「おん」の連続: 強い理解 (発話頭で現れた)長くて弱い「おーー」: フィラー (先行発話末の音素が /o/の場合)

感動詞の発話スタイルと機能の分析: 「ほ・ほー」 感動詞の発話スタイルと機能の分析: 「ほ・ほー」 「あー」「うーん」の間の会話音声「ほーー」: 意外・弱い感心、相槌 平坦・下降調「ほん」: 「うん・ふん」のカジュアル形; 相槌・理解 長い「ほーー」+りきみ: 深い感心・驚き 「はー」と同様: ため息

感動詞の発話スタイルと機能の分析: 「いいえ・いえ」 感動詞の発話スタイルと機能の分析: 「いいえ・いえ」 否定 「いえ」: 「いいえ」のバリエーション 「いいえ」・「いえいえ」: 「ありがとう」に対する返事

感動詞の発話スタイルと機能の分析: 「いや・やー」 感動詞の発話スタイルと機能の分析: 「いや・やー」  「いらない」、「嫌」の意味を持つが、感動詞としての使用が多い  短い: 否定的応答(「いいえ」の意味)  単なる接続詞(またはオープナー)として発話頭に出現することが多い  りきみ発声: 深い驚きや躊躇  高ピッチまたはharsh/whispery発声: 強い驚き  「嫌」の意味の場合、「いやだ」「いやや」が多い

感動詞の発話スタイルと機能の分析: 「あら・ありゃ」 感動詞の発話スタイルと機能の分析: 「あら・ありゃ」 「あら」: 女性話者に多い 驚き・意外  上昇調: 疑問・疑い 「あらー」+ソフトなbreathy発声: 同情・残念・がっかり 「あら」の連続: 望ましくない出来事に対する反応として使用

感動詞の発話スタイルと機能の分析: 「あれ」 感動詞の発話スタイルと機能の分析: 「あれ」 「あら」と同様: 驚き・意外;ただし疑問・疑いの気持ちを多く含む 「あれーー」: 疑問・疑いが増す  指示語の「あれ」;感動詞の「あれ」と識別する必要がある(言語情報が必要?) 「あれーー」: 考え中、フィラーとしても発話される

感動詞の発話スタイルと機能の分析: 「わ・うわー」 感動詞の発話スタイルと機能の分析: 「わ・うわー」 驚き・感動 りきみ: 驚き・感心・嫌悪の度合いが増す Harsh/whispery 発声: 驚きの度合いが増す

まとめ 今後の予定 本研究の知見を用いて、音響特徴によるパラ言語情報の自動識別を検討する 自然対話音声に出現する感動詞がもたらすパラ言語情報と発話スタイルのバリエーションを調べた 感動詞の種類およびその発話スタイルをパラ言語情報の識別に考慮する必要があることが示された 声質に関して多くに感動詞において共通した特徴: harsh/whispery発声やりきみ発声を含んだものは、驚き・感心・嫌悪などの感情・態度表現を強める効果がある 本研究の知見を用いて、音響特徴によるパラ言語情報の自動識別を検討する 今後の予定

[1] Ishi, C. T. , Ishiguro, H. , Hagita, N. (2008) [1] Ishi, C.T., Ishiguro, H., Hagita, N. (2008). Automatic extraction of paralinguistic information using prosodic features related to F0, duration and voice quality. Speech Communication 50(6), 531-543, June 2008. [2] 石井カルロス寿憲,石黒浩,萩田紀博 (2008) “自然発話に現れる感動詞の発話スタイルと機能の分析” 日本音響学会2008年秋季研究発表会,Vol. I, 269-270 [3] Ishi, C.T., Ishiguro, H., Hagita, N. (2008). “The meanings carried by interjections in spontaneous speech,” Proc. Interspeech 2008, September 2008.