TTS技術の概要 1. TTSとは 2. TTS技術の応用 3. TTSシステムの流れ 4. 基本概念 5. F0モデル 6. 韻律記号

Presentation on theme: "TTS技術の概要 1. TTSとは 2. TTS技術の応用 3. TTSシステムの流れ 4. 基本概念 5. F0モデル 6. 韻律記号"— Presentation transcript:

1 TTS技術の概要 1. TTSとは 2. TTS技術の応用 3. TTSシステムの流れ 4. 基本概念 5. F0モデル 6. 韻律記号
桜井 淳宏 06/30/2000 1. TTSとは 2. TTS技術の応用 3. TTSシステムの流れ 4. 基本概念 5. F0モデル 6. 韻律記号 7. 規則音声合成 8. 統計的手法に基づくイントネーションモデル 9. Tone Sequence Theory 10. ToBI及びJ-ToBI 11. 音声合成 12. 合成方式 13. 波形編集方式 14. PSOLA 15. フォルマント合成方式 16. TTS技術の評価 17. TTS技術の現在と未来

2 ＴＴＳ（テキスト音声変換） TTS技術の応用 TTS(Text-to-Speech) TTS System 現在 将来 入力文 出力音声
の自動読み上げ 手足が忙しいときの自動読み上げ WWWコンテンツの読み上げ 文章作成の支援ツール 言語教育 お年寄りや障害者の支援ツール 自動車環境内のヒューマンインタフェース 将来 対話システム（音声認識システムとの組合わせ） 自動通訳システム テキスト 概念

3 TTSシステムの流れ 入力文 テキスト解析 形態素解析 構文解析 単語辞書 文法 音韻処理・韻律処理 音韻記号列＋ 韻律記号列の生成 読み
音声合成 波形編集または フォルマント合成 単語辞書 文法 読み 形態素情報 アクセント型 アクセント辞書 韻律ルール 音韻記号列 韻律記号列 音声データベース 音声信号

4 基本概念（１）：モーラ、アクセント型 ０型 平板型 トモダチ フジサン １型 中高型 イロガミ ２型 カガリビ ３型 オトート ４型 尾高型

5 基本概念（２）：分節的特徴＆韻律的特徴 分節的特徴（segmental features）：
音韻記号（phonological symbol）に置き換えられる 韻律的特徴（prosodic features）： 声の抑揚を表し、物理的には次の特徴量として表現される 基本周波数パターン（F0パターン） 音素の持続時間の推移 パワーパターン （韻律的特徴は超分節適特徴ともいわれる） マイクロプロソディ： 観測できるが、聴覚的には意味のない小さな変動

6 Easy Q&A 質問Q1：What is アクセント核（accent nucleus）？
質問Q2 ：モーラ数がnのとき、アクセント型は何個あり得ますか？

7 F0 Contour Model

8 韻律記号

9 規則音声合成 音韻記号 韻律記号 音声 入力文 韻律結合 音韻結合 フレーズ境界決定 形態素解析 音声合成 むかし 普通名詞 ０型 はなし
単語辞書 アクセント型辞書 読み 形態素 アクセント型 音韻記号 韻律記号 音声 入力文 韻律結合 音韻結合 フレーズ境界決定 形態素解析 音声合成 むかし 普通名詞 ０型 はなし 「昔話」 P1 mu DH ka shi ba A0 na shi P0 P1, FL, A0: 韻律記号 mu, ka, shi, ba, na: 音韻記号 構文解析

10 演習問題 長崎は今日も雨だった

11 統計的手法に基づく イントネーションモデル
規則音声合成の問題点 イントネーションに関するルールにはヒューリスティックな部分が大きい ルールの作成が困難 新しいシステムの作成に伴うコストが高い 統計的な手法の導入 ヒューリスティックスを統計的手法に置き換える 規則化できない部分も学習可能

12 統計的手法に基づく イントネーションモデル
1) Training Prosodic Database Text Speech Linguistic features Prosodic features TTS intonation model Statistical Training 2) Synthesis Text TTS System F0 contour (intonation) TTS Intonation Model

13 Tone Sequence Theory Initial boundary tones Pitch accent tones
Phrase accent tones Final boundary tones H* L* H% %H H- H*+L H+L* L- %L L% L*+H L+H* Prosodic word (BI=2) Intermediate phrase (BI=3) Intonational phrase (BI=4)

14 ToBI及びJ-ToBI 韻律的特徴の記述法 記述はあくまでも定性的 ４つの層 orthographic tier tone tier
break index tier miscellaneous tier ToBIに基づくイントネーションモデル まずデータベースを作成 統計的な手法でF0 rangeを求める ToBIに基づく韻律イベントとF0 rangeをもとに、target pointを決定 Target pointを直線、スプラインなどで補完する 問題点 ラべリング作業が大変 Ｆ０パターンを生成できるが、物理的根拠がない

15 音声合成 韻律記号 合成器 音声 音韻記号 歴史 １７９１年：von Kempelenによる機械式音声合成器
１９３９年：DudleyによるVoder １９７０年：Klattによるフォルマント合成器 １９８４年：F0生成モデル（藤崎＆広瀬） １９８６年：PSOLA(Charpentier, F. and Moulines, E.) １９９５年：CHATR(Black,A. and Campbell,N.)

16 合成方式 フォルマント合成方式 音声信号の共振周波数を実現する方式 波形編集方式 波形データベースから音声を切り取ってつなぐ方式 その他
声道アナログ合成方式 パラメータ結合方式（LPC） Sinusoidal Modeling

17 波形編集方式 音韻環境（前後の音素） 接続環境（F0,パワー） 韻律記号 音韻記号 音声単位の加工、 接続(PSOLA等) 音声単位選択
音声データベース

18 PSOLA Pitch-Synchronous Overlap-Add a) Original b) F0 increase
c) Duration increase 利点： 簡単 速い 欠点： Pitch Markingが必要 合成単位の接続にクリップ音が生じる

19 フォルマント合成方式 F0 AN NASAL PATH GLOTTAL GENERATOR AG + VOWEL PATH AA +
OUTPUT FRICATIVE GENERATOR AF FRICATIVE PATH IMPULSE GENERATOR AS STOP PATH

20 TTS技術の評価 ガイドライン： JEIDA Guideline for Speech Synthesizer Evaluation, 3/95 テキスト解析の評価 漢字かな変換 形態素解析の誤り 明瞭制 音素・単語・文 自然性 韻律的特徴 分節的特徴 好ましさ

21 TTS技術の現在と未来 形態素解析とテキスト分析 コーパスを用いた音韻・韻律情報の生成 合成単位の選択・接続方式
入力文 テキスト分析 形態素解析 構文解析 音韻処理・韻律処理 音韻記号列や 韻律記号列の生成 音声合成 波形編集または フォルマント合成 音声信号 読み 形態素情報 アクセント型 単語辞書 文法 アクセント辞書 韻律ルール 音声データベース 音韻記号列 韻律記号列 形態素解析とテキスト分析 コーパスを用いた音韻・韻律情報の生成 合成単位の選択・接続方式 音声分析と生成モデル（フォルマント方式） 対話音声の韻律的特徴（感情、卓立など） アプリケーション（対話システム、音声認識技術との組合わせ） 評価 etc., etc.