Corpus-Based Prosodic Modeling in Text-to-Speech Synthesis

Presentation on theme: "Corpus-Based Prosodic Modeling in Text-to-Speech Synthesis"— Presentation transcript:

1 Corpus-Based Prosodic Modeling in Text-to-Speech Synthesis
コーパスに基づくテキスト音声変換用の韻律モデリング 電子情報工学専攻 広瀬･峯松研究室 博士課程３年 桜井　淳宏

2 概要 研究の背景・概要 Phase I: データベース作成（韻律情報のラベリング） Phase II: 韻律情報の統計的モデル化
考察・まとめ

3 ＴＴＳ（テキスト音声変換） TTS技術の応用 TTS(Text-to-Speech) TTS System 現在 将来 入力文 出力音声
の自動読み上げ 手足が忙しいときの自動読み上げ WWWコンテンツの読み上げ 文章作成の支援ツール 言語教育 お年寄りや障害者の支援ツール 自動車環境内のヒューマンインタフェース 将来 対話システム（音声認識システムとの組合わせ） 自動通訳システム

4 分節的特徴＆韻律的特徴 分節的特徴（segmental features）：
音韻記号（phonological symbol）に置き換えられる 韻律的特徴（prosodic features）： 声の抑揚を表し、物理的には次の特徴量として表現される 基本周波数パターン（F0パターン） 音素の持続時間の推移 パワーパターン （韻律的特徴は超分節的特徴ともいわれる）

5 TTSシステムの流れ 入力文 テキスト解析 形態素解析 構文解析 単語辞書 文法 音韻処理・韻律処理 音韻記号列＋ 韻律記号列の生成 読み
音声合成 波形編集または フォルマント合成 単語辞書 文法 読み 形態素情報 アクセント型 アクセント辞書 韻律ルール 音韻記号列 韻律記号列 音声データベース 音声信号

6 統計的手法に基づく イントネーションモデル
規則音声合成の問題点 イントネーションに関するルールにはヒューリスティックスによるものが多い ルールの作成が困難 ルール間の干渉 統計的な手法の導入 ヒューリスティックスを統計的手法で置き換える 規則化できない部分も学習可能 データベースの充実度が上昇中

7 統計的手法に基づく イントネーションモデル
1) 学習 Prosodic Database Text Speech Linguistic features Prosodic features TTS intonation model Statistical Training 2) 合成 Text TTS System F0 contour (intonation) TTS Intonation Model

8 Phase I: データベース作成 韻律データベース 1) Text data: text in electronic format
2) Speech data: digital recording, phonetic transcription 3) Linguistic features: part-of-speech tags, pronunciation, accent types, etc. 4) Prosodic features: F0 contours, duration patterns, power contours, etc. Q: How to represent prosodic features?

9 ToBI (Tones and Break Indices)
定量的な記述は一切含まれていない。したがって、物理量への変換が難しい ラベル付与にかかる労力（＝コスト）が高い

10 韻律データベースにおける韻律情報の記述 提案：F0モデルの利用 問題点：ToBIと同様、自動ラベリングが不可能 物理量と直接的な関係
統語構造をある程度反映 問題点：ToBIと同様、自動ラベリングが不可能

11 F0パターンモデル

12 F0パターンモデル（具体例） 「そちらの国際会議に論文を投稿したいとおもうんですが」

13 F0モデルパラメータの自動ラベリング Phrase Bound. Detection F0 Parameter F0 Model
（アイデア：音声認識用に開発された統語境界検出法を適用 Phrase Bound. Detection F0 Contour Model Assignment Parameter Adjustment F0 Model Accent Bound. Detection (partial AbS) Linguistic information フレーズ境界検出にはローパスフィルタを用いる[Sakurai/Hirose, ICSLP’96] アクセント境界検出にはF0パターンの微分パターンを利用 [Fujisaki et.al, ASJ, 92-3]

14 フレーズ指令検出 Phrase + accent d(Phrase) dt

15 フレーズ境界検出の具体例

16 F0モデル パラメータ推定の具体例

17 評価実験 (a) Phrase commands (number of phrase commands: 104)
(b) Accent commands (number of accent commands: 228) (25 sentences from ATR continuous speech database; comparison with hand-labeled data)

18 アクセント変形タイプ 複合名詞の第二要素による分類 A型：第二要素の第一拍まで高い （アソビア‘イテ＝遊び相手）
B型：第一要素の最終拍まで高い （セイフ‘アン＝政府案） B*型：第一要素の最終拍の前まで高い （ゲンゼ‘イアン＝減税案） F型：平板型 （アキタケン＝秋田犬）

19 アクセント変形タイプ 推定システム F0 Contour Phoneme Labels and timing Error = MSE
Error A Phoneme Labels and timing Type A Model A Error B Type B Model B Error = MSE between extracted and calculated F0 contours Error B* Model B* Type B* Error F Model F Type F Hypothesizer Partial Abs

20 複合名詞の近似モデル（初期値） Command Ap1 Ap2 Aa1 t01 t02 t1 t2 t (s) 1.0 0.08
２つのフレーズ指令を利用すれば、 連続音声での複合名詞の位置として 考えられるすべての可能性を網羅できる 文の先頭または休止を伴うフレーズ境界の後 (Ap1=0,Ap2>0) 休止を伴わないフレーズ境界の後 (Ap1>0,Ap2>0) 非フレーズ境界 (Ap1>0,Ap2=0) Ap1 Ap2 Aa1 t01 t02 t1 t2 t (s) 1.0 0.08

21 評価実験 Speech material： ATR Continuous Speech Database （MAU and MHT)
Phoneme labeling by HTK speech recognizer in forced alignment mode

22 Phase II: 統計的手法に基づく韻律情報のモデリング
韻律データベースを作成した後、次は統計的学習の手法が必要 第１手法：ニューラルネットワークとF0モデルに基づくF0パターンのモデル化 第２手法：モーラ遷移離散隠れマルコフモデルに基づくF0パターンのモデル化

23 方式１）ニューラルネットワークとF0モデルに基づく F0パターンのモデリング
物理量と直接的な関係 統語構造と対応 問題点 パラメータ同士の非線形な関係 正解には曖昧性がある ニューラルネットワークが適切

24 ニューラルネットワーク構造 (a) Elman network (b) Jordan network Input Layer Hidden
Output Layer Input Layer Hidden Layer Output Layer State Layer Context Layer

25 ニューラルネットワーク構造（つづき） (c) Multi-layer perceptron (MLP) Input Layer Hidden
Output Layer

26 入力特徴 クラス数 入力特徴 18 韻律語の位置 15 韻律語のモーラ数 9 韻律語のアクセント型 8 韻律語の単語数 37,7,7
最初の単語の品詞・活用型・活用形 最後の単語の品詞・活用型・活用形

27 入力特徴の例 “ニューヨークヲ” Isshuukanbakari nyuuyookuo shuzaishita.
（一週間ばかりニューヨークを取材した） “ニューヨークヲ” 韻律語の位置： モーラ数: アクセント型： 単語数： 最初の単語の品詞・活用型・活用形： 最後の単語の品詞・活用型・活用形： ２ ６ ３ 名詞・０・０ 格助詞・０・０

28 出力特徴 種類 出力特徴 Continuous Phrase command magnitude (Ap)
Binary Phrase command magnitude (Ap) Accent command amplitude (Aa) Phrase command delay (t0 off) Accent command onset delay (t1 off) Accent command reset delaty (t2 off) Phrase command flag

29 学習データベース 学習データ：388の例文（2803の韻律語） Validation data：50の例文（317の韻律語）
テストデータ：48の例文（262の韻律語） 学習量：epoch（サイクル数）=15～30 文境界に擬似アイテムを挿入

30 フレーズ指令の有無の推定

31 フレーズ指令パラメータの推定

32 アクセント指令パラメータの推定

33 自然音声から抽出した F0 パターンとの誤差

34 具体例 「小さなうなぎ屋に熱気のようなものがみなぎる」 0.0 1.0 2.0 3.0 TIME [s] WAVEFORM
mhtsdj01.syn ch i,i s a n u g i,y i pau e kk o y o,u m r LABEL 40.0 100.0 800.0 FREQUENCY [Hz] PROSODIC COMMAND 具体例 「小さなうなぎ屋に熱気のようなものがみなぎる」

35 本手法に関する考察 ニューラルネットワークによるモデリングの長所： 不完全なルールによる問題を回避 聴取実験による最終結果が良好 問題点
韻律情報のモデル化に関する真の知識が得られない ニューラルネットワークのパラメータの最適化が難しい 今後の課題 他の方式と比較（２分木など） 実際のTTSシステムに組み込む 出力特性によってニューラルネットワークを使い分ける手法を検討

36 方式２：モーラ遷移HMMに基づく F0パターンのモデル化
何故モーラ遷移ＨＭＭ？ 日本語のイントネーションはモーラ単位の時系列として近似的に表現できる 韻律境界検出という用途で同様のHMMが利用され、良好な結果が得られた HMMを生成モードで利用すれば、F0パターンを生成できる

37 離散隠れマルコフモデル（ＨＭＭ） a12 a23 a34 a22 a33 b(1|1)~b(K|1) b(1|2)~b(K|2)
Symbols: 1,2, ..., K モデルと出力記号列を繰り返し対応させることによって、モデルの パラメータ（遷移確率及び出力確率）をそれらの記号列の特徴に 適応させることができる（学習）

38 モーラ遷移ＨＭＭに基づく イントネーションモデル
韻律語（accentual phrase） 状態遷移 モーラ遷移 出力記号 （shape,deltaF0） shape: モーラ単位F0パターンのクラスタに対応するコード（３２種類） deltaF0： 先行モーラの平均値との差分（３２の値）

39 モーラ遷移ＨＭＭに基づく イントネーションモデル
Example: ‘watashino jinsei’ ta shi no ji N se i wa F0 wa ta shi, no, ji N se, i ｔ

40 ステップ１：データベース作成 ATRの連続音声データベースを使用（５００文，話者MHT) モーラ単位に分割 モーララベルの付与
F0パターンを抽出 LBG法によるクラスタリング 全データベースにクラスタクラスを付与

41 ステップ２：HMMの作成（１） (a) 平板型、頭高型 (a) 中高型

42 ステップ２：HMMの作成（２） 単位：韻律語（intonational phrase） モデル化する情報 位置＝１（先頭）
韻律語の位置 アクセント型 位置＝１（先頭） アクセント型＝３ 例：「あらゆる」＝PH1_3

43 ステップ３：HMMの学習 通常のFBアルゴリズムを使用 Entropic社のHTK ATRの連続音声データベース（話者MHT)
Pentium IIクラスの計算機で数秒間

44 ステップ４：HMMに基づく F0パターンの生成
A) 認識 Likelihood Best path output sequence B) 合成 Best output sequence Best path

45 通常のＶｉｔｅｒｂｉアルゴリズム for t=2,3,...,T for it=1,2,...,S
Dmin(t, it) = min(it-1){Dmin(t-1, it-1) + [-log a(it| it-1)] +[-log b(y(t)| it)]} (t, it) =argmin(it-1){Dmin(t-1, it-1)+[-log a(it| it-1)] next it next t

46 最適出力符号の生成を目的 としたＶｉｔｅｒｂｉアルゴリズム
for t=2,3,...,T for it=1,2,...,S Dmin(t, it) = min(it-1){Dmin(t-1, it-1) + [-log a(it| it-1)] +[-log b(ymax(t)| it)]} (t, it) =argmin(it-1){Dmin(t-1, it-1)+[-log a(it| it-1)] next it next t

47 Ｂｉｇｒａｍの導入 for t=2,3,...,T for it=1,2,...,S
Dmin(t, it) = min(it-1){Dmin(t-1, it-1) + [-log a(it| it-1)] +[-log b(ymax(t)| it)]+[-log bigram(y(t)|y(t-1))]} (t, it) =argmin(it-1){Dmin(t-1, it-1)+[-log a(it| it-1)] next it next t

48 Accent Type Modeling Using HMM

49 Phrase Boundary Level Modeling Using HMM
J-TOBI B.I. Pause Y/N Bound. Level 3 2 Y N 1 2 3

50 Bigramの効果 PH1_0.original PH1_0.bigram PH1_1.original PH1_1.bigram

51 本手法に関する考察 問題点 学習データが少ない TTSシステムへの組込みにはさらなる工夫が必要 今後の課題 Ｆ０モデルの利用を検討
データ不足を克服するための工夫（クラスタリング等） モデルの接続に関する検討

52 まとめ コーパスに基づく韻律情報のモデル化に関する手法の一連を提案 Phase I: データベース作成（韻律情報のラベリング）
Phase II: 韻律情報の統計的モデル化 ニューラルネットワークに基づくF0パターンの生成 モーラ遷移HMMに基づくF0パターンの生成

53 今後の課題 ニューラルネットワークと F0 モデルを用いたＦ０パターン生成手法 他の手法との比較を行う 聴取実験を行う
他のネットワーク構造の利用を検討 出力特性によってニューラルネットワークを使い分ける手法を検討 ルールの導入 モーラ遷移HMMを用いたF0 パターン生成手法 データ不足の問題を回避する手法を検討 モデルの接続に関する検討 Ｆ０モデルとの組み合わせ

54 規則音声合成 音韻記号 韻律記号 音声 入力文 韻律結合 音韻結合 フレーズ境界決定 形態素解析 音声合成 むかし 普通名詞 ０型 はなし
単語辞書 アクセント型辞書 読み 形態素 アクセント型 音韻記号 韻律記号 音声 入力文 韻律結合 音韻結合 フレーズ境界決定 形態素解析 音声合成 むかし 普通名詞 ０型 はなし 「昔話」 P1 mu DH ka shi ba A0 na shi P0 P1, FL, A0: 韻律記号 mu, ka, shi, ba, na: 音韻記号 構文解析

55 複合名詞のアクセント変形タイプの推定 言語情報（品詞クラス、アクセント型等）を有効に利用すれば自動ラベリングが可能になる
ここでは、復号名詞におけるアクセント変形の現象を取り上げる 連続音声データベースから自動的にアクセント変形タイプを推定するアルゴリズムを提案

56 アクセント変形 複数の名詞が複合名詞を構成するとき、もともとのアクセントがなくなり、複合名詞のアクセント核が移動・消失する
[NHK編日本語発音アクセント辞典]によれば、複合名詞のアクセント型は（2つの名詞からできた複合名詞の場合）第二要素の性質によってほぼ決定される 複合名詞の第二要素は4種類に分類することができる

57 部分AbSによるパラメータ調整 広範囲の 調整 微調整 （大きさのみ） （すべてのパラメータ） タイミング 実測F0パタ パラメータ
の初期値 広範囲の 調整 実測F0パタ ーンとの距 離を計算 微調整 （大きさのみ） （すべてのパラメータ）

58 ３名詞以上からなる複合名詞の場合 アクセント変形パターン = 韻律語の構成のしかた
長い復号名詞の場合、ルールによるアクセント変形の推定が難しい 本手法を３以上の名詞の複合名詞に一般化

59 ３名詞以上からなる復号名詞の場合 H1:So’oru goriNkoohose’Nshu
H2: ChuugokujiNuNte’Nshu H2’: ChuugokujiN uNte’Nshu S1 S2

60 F0モデルパラメータの割当て S o o r u g o r i N k o o h o s e N sh u H1:
C h u u g o k u j i N u N t e N sh u H2: C h u u g o k u j i N u N t e N sh u H2’:

61 実験結果 AbS Error (x 10-2) Correct I1 I1’ I2 I2’ 3.50 3.00 2.50 2.00
H2’ 3.00 H2 2.50 H1’ H2 H1 2.00 Correct Incorrect 1.50 H2’ 1.00 H1’ H1 0.50 0.00 I1 I1’ I2 I2’