Download presentation
Presentation is loading. Please wait.
1
非負値行列因子分解による 構音障害者の声質変換
神戸大学システム情報学研究科 相原龍, 高島遼一, 滝口哲也, 有木康雄
2
研究背景 聴覚・言語障害者は全国に約３４万人 （平成１８年度 厚生労働省） 構音障害 言葉を正しく明瞭に発話できない 子音の欠落
（平成１８年度 厚生労働省） 構音障害 言葉を正しく明瞭に発話できない 子音の欠落 アテト－ゼ型の脳性麻痺による構音障害者を対象 アテトーゼ＝意図的動作時や緊張状態に起こる不随意運動 がいしゅつ 構音障害者の声質変換
3
声質変換とは？ 声質変換 Ａさんの声 Bさんの声 障害者音声変換 障害者音声 健常者音声 子音が復元され，聞き取りやすく
4
従来手法 Gaussian Mixture Model : GMM 障害者と健常者のパラレルデータ 変換音声を平均で推定
Over-smoothing
5
提案手法・・・非負値行列因子分解とは？ ＮＭＦ基づく声質変換
非負値行列因子分解（Non-negative Matrix Factorization） Sparse性を考慮 Exemplar-based⇒少ないデータでも自然性 L J L D D J 入力パターン系列 (D x L) 辞書 (Exemplars) (D x J) 時系列毎に得られる 各Exemplarに対する重み (Activities) (J x L) (Activity の推定にはスパース制約付きNMFを使用)
6
アライメント問題 パラレルデータの作成 ＨＭＭ強制アライメント⇒ＤＰマッチング A Ak aK K Ki kI I 健常者 A Ak aK
障害者
7
アライメント問題 パラレルデータの作成 ＨＭＭ強制アライメント⇒ＤＰマッチング A Ak aK K Ki kI I 健常者 A Ak aK
障害者
8
アライメント問題 パラレルデータの作成 ＨＭＭ強制アライメント⇒ＤＰマッチング A Ak aK K Ki kI I 健常者 A Ak aK
障害者
9
提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L
パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J
10
提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L
パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J
11
提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L
パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J
12
提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L
パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J
13
提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L
パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J
14
提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L
パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J
15
提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L
パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J
16
提案手法 a k i a b _ k i a k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D
L J パラレルデータ （学習辞書データ） 健常者音声 a k i a b _ k i D D J L J L
17
提案手法 a k i a b _ k i a k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D
L J パラレルデータ （学習辞書データ） 健常者音声 a k i a b _ k i D D L J J L
18
実験条件 データベース 聴取実験 健常者：男性音素バランス単語 障害者：男性１名 学習：５０単語
変換：(A)Closed (B)Open(One-leave-out法） 聴取実験 成人男女１0名による主観評価 「聞き取りやすさ」「子音の明瞭性」 ５段階MOS評価 １．非常に聴き取りずらい⇔５．非常に聴き取りやすい
19
実験結果 外出 がいしゅつ （g ai sh u ts u） 障害者音声 Closed変換音声 Open変換音声 健常者音声
20
実験結果 t e ch ou 障害者（Source） Closed変換 健常者（Target） Open変換
21
実験結果 約0.7ポイント上昇 約0.3ポイント上昇
22
考察 聞き取りやすさ，子音の明瞭さ共に向上 変換ノイズ ⇒セグメント特徴量の導入 欠落した子音は完全には復元されない ⇒辞書行列の変換
23
非負値行列因子分解による構音障害者の声質変換
APPENDIX
24
子音の欠落 A Ak aK K Ki kI I 健常者 学習 データ A Ak aK Ki kI I 障害者 A Ak aK Ki kI I
入力データ 障害者
25
考察 欠落した子音は完全には復元されない A Ak aK K Ki kI I 健常者 学習 データ A Ak aK Ki kI I 障害者
入力データ 障害者
26
考察 欠落した子音は完全には復元されない A Ak aK K Ki kI I 健常者 学習 データ A Ak aK Ki kI I 障害者
入力データ 障害者
Similar presentations
