雑音環境下における 非負値行列因子分解を用いた声質変換

Presentation on theme: "雑音環境下における 非負値行列因子分解を用いた声質変換"— Presentation transcript:

1 雑音環境下における 非負値行列因子分解を用いた声質変換
神戸大学大学院システム情報学研究科 情報科学専攻　CS17　有木研究室 藤井 貴生，相原龍，高島遼一，滝口哲也，有木康雄 ARIKI Lab. Kobe Univ.

2 声質変換とは？ 声質変換は、入力音声を音韻情報などは保ったまま、話者性のような特定の情報のみを変換する技術である
話者変換や感情変換、発話支援など様々なタスクへの応用 異なる言語間における話者変換により、ある話者の性質で母国語以外の言語を発声 “いきおい” 入力話者 出力話者 ARIKI Lab. Kobe Univ.

3 研究背景・研究目的 雑音環境下における声質変換 従来は統計的アプローチによる声質変換がされてきた
GMMに基づく声質変換 従来手法は雑音を考慮した定式化がされていない 入力話者 同一発話内容 の学習データ （パラレルデータ） フレーム毎に特徴量抽出 + DTWによりフレームを同期 フレーム毎の 特徴量 同一発話の フレームのペアから 変換関数を学習 出力話者 雑音環境下における声質変換 ARIKI Lab. Kobe Univ.

4 声質変換システムの流れ “いきおい” 変換 学習 特徴量抽出 パラレル辞書構築 Sparse Coding 変換 GMM学習
入力音声 (雑音重畳) 学習 特徴量抽出 パラレル辞書構築 Sparse Coding 変換 入力話者 GMM学習 GMMに基づく 補正 音声合成 出力音声 出力話者 ARIKI Lab. Kobe Univ.

5 パラレル辞書 入力話者と出力話者が同じテキストを発話した学習サンプルを用意(パラレルデータ)
Dynamic Programmingによるマッチングによりフレーム間の同期を取り、それらの特徴量を並べたものを辞書とする(パラレル辞書) 平滑化 スペクトル 入力話者 辞書 入力話者音声 (source) 特徴量 抽出 フレーム間同期 出力話者 辞書 平滑化 スペクトル 出力話者音声 (target) パラレル辞書 ARIKI Lab. Kobe Univ.

6 Sparse Codingによる雑音除去・声質変換
雑音の辞書を足すことで、入力音声を雑音と音声に分離可能 雑音辞書は入力の前後の無音区間から構築 平滑化スペクトルは本手法における雑音の分離には適さないため、入力、雑音及びそれらの辞書は通常の振幅スペクトルを用いる L J K D 分解 ？ 入力系列 (振幅スペクトル) (D x L) 入力話者辞書 (振幅スペクトル) (D x J) 雑音辞書 (振幅 スペクトル) (D x K) 音声辞書に対する 重みのみをコピー パラレル 辞書 重み行列を推定 (J x L) 内積により 再構成 出力話者辞書 (平滑化スペクトル) (D x J) 変換後の スペクトル系列 (D x L) 入力の 重み行列

7 Sparse Codingによる雑音除去・声質変換
雑音の辞書を足すことで、入力音声を雑音と音声に分離可能 雑音辞書は入力の前後の無音区間から構築 平滑化スペクトルは本手法における雑音の分離には適さないため、入力、雑音及びそれらの辞書は通常の振幅スペクトルを用いる 変換 入力音声 (雑音重畳) 学習 L J K 特徴量抽出 パラレル辞書構築 D 分解 Sparse Coding 変換 ？ 入力系列 (振幅スペクトル) (D x L) 入力話者辞書 (振幅スペクトル) (D x J) 雑音辞書 (振幅 スペクトル) (D x K) 音声辞書に対する 重みのみをコピー パラレル 辞書 GMM学習 GMMに基づく 補正 重み行列を推定 (J x L) 音声合成 内積により 再構成 出力話者辞書 (平滑化スペクトル) (D x J) 変換後の スペクトル系列 (D x L) 出力音声 入力の 重み行列

8 提案手法 入力系列から推定される重み行列と，実際の目標の スペクトルを表す重み行列には相違がある
→Sparse Coding変換後にGMMに基づく補正を行う L J K D 分解 目標となる スペクトル系列 入力系列 (振幅スペクトル) (D x L) 入力話者辞書 (振幅スペクトル) (D x J) 雑音辞書 (振幅 スペクトル) (D x K) 音声辞書に対する 重みのみをコピー パラレル 辞書 相違がある GMMに基づく 補正 重み行列を推定 (J x L) 目標となる スペクトル系列 出力話者辞書 (平滑化スペクトル) (D x J) 変換後の スペクトル系列 (D x L) 推定されるべき 重み行列 入力の 重み行列

9 GMM学習 Sparse Coding変換後のスペクトルと目標話者のスペクトルを学習データとしてGMMを学習する
→216単語のパラレルデータを用意 L J K D 分解 目標となる スペクトル系列 入力話者辞書 (振幅スペクトル) (D x J) 雑音辞書 (振幅 スペクトル) (D x K) 入力系列 (振幅スペクトル) (D x L) パラレル 辞書 変換モデル生成 出力話者辞書 (平滑化スペクトル) (D x J) 変換後の スペクトル系列 (D x L)

10 評価実験 雑音重畳音声を入力とする話者性の変換実験 ２つの従来手法との比較 変換後の音声と目標音声とのケプストラム距離から変換の精度を算出
GMMに基づく声質変換法 Sparse Codingを用いた声質変換法 変換後の音声と目標音声とのケプストラム距離から変換の精度を算出 入力音声は男性話者の発話した単語・文章 学習データに含まれる50単語(CLOSED) 学習データに含まれていない25文章(OPEN) 辞書構築データ ATRデータベース216単語 入力話者(source) 男性１名 出力話者(target) 女性１名 雑音環境 レストラン(SNR:10dB)

11 CLOSED・OPENの両条件で提案手法を
実験結果 50単語(CLOSED) 25文章(OPEN) Cepstrum Distance Cepstrum Distance source target GMM SC SC+GMM CLOSED・OPENの両条件で提案手法を 用いた場合が最も目標音声へと近似された ARIKI Lab. Kobe Univ.

12 まとめ・今後の課題 本研究では雑音重畳音声に対する声質変換の検討を行った
評価実験により、雑音環境下において本提案手法が有効であることが示された Sparse Codingによる重み行列の推定に問題がある →重み行列自身を変換する手法の検討 ARIKI Lab. Kobe Univ.

13 ご清聴ありがとうございました ARIKI Lab. Kobe Univ.