非負値行列因子分解による 構音障害者の声質変換 神戸大学システム情報学研究科　 相原龍, 高島遼一, 滝口哲也, 有木康雄

研究背景 聴覚・言語障害者は全国に約３４万人 （平成１８年度 厚生労働省） 構音障害 言葉を正しく明瞭に発話できない 子音の欠落 （平成１８年度　厚生労働省） 構音障害 言葉を正しく明瞭に発話できない 子音の欠落 アテト－ゼ型の脳性麻痺による構音障害者を対象 　　アテトーゼ＝意図的動作時や緊張状態に起こる不随意運動 がいしゅつ 構音障害者の声質変換

声質変換とは？ 声質変換 Ａさんの声 Bさんの声 障害者音声変換 障害者音声 健常者音声 子音が復元され，聞き取りやすく

従来手法 Gaussian Mixture Model : GMM 障害者と健常者のパラレルデータ 変換音声を平均で推定 Over-smoothing

提案手法・・・非負値行列因子分解とは？ ＮＭＦ基づく声質変換 非負値行列因子分解（Non-negative Matrix Factorization） Sparse性を考慮 Exemplar-based⇒少ないデータでも自然性 L J L D D J 入力パターン系列 (D x L) 辞書 (Exemplars) (D x J) 時系列毎に得られる 各Exemplarに対する重み (Activities) (J x L) (Activity の推定にはスパース制約付きNMFを使用)

アライメント問題 パラレルデータの作成 ＨＭＭ強制アライメント⇒ＤＰマッチング A Ak aK K Ki kI I 健常者 A Ak aK 障害者

アライメント問題 パラレルデータの作成 ＨＭＭ強制アライメント⇒ＤＰマッチング A Ak aK K Ki kI I 健常者 A Ak aK 障害者

アライメント問題 パラレルデータの作成 ＨＭＭ強制アライメント⇒ＤＰマッチング A Ak aK K Ki kI I 健常者 A Ak aK 障害者

提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J

提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J

提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J

提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J

提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J

提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J

提案手法 a k i a b _ k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D D J L パラレルデータ （学習辞書データ） L 健常者音声 a b _ k i D J

提案手法 a k i a b _ k i a k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D L J パラレルデータ （学習辞書データ） 健常者音声 a k i a b _ k i D D J L J L

提案手法 a k i a b _ k i a k i a b _ k i 障害者音声 障害者音声 健常者音声 Sparse Coding D L J パラレルデータ （学習辞書データ） 健常者音声 a k i a b _ k i D D L J J L

実験条件 データベース 聴取実験 健常者：男性音素バランス単語 障害者：男性１名 学習：５０単語 変換：(A)Closed (B)Open(One-leave-out法） 聴取実験 成人男女１0名による主観評価 「聞き取りやすさ」「子音の明瞭性」 ５段階MOS評価　 　　１．非常に聴き取りずらい⇔５．非常に聴き取りやすい

実験結果 外出　がいしゅつ　（g ai sh u ts u） 障害者音声 Closed変換音声 Open変換音声 健常者音声

実験結果 t e ch ou 障害者（Source） Closed変換 健常者（Target） Open変換

実験結果 約0.7ポイント上昇 約0.3ポイント上昇

考察 聞き取りやすさ，子音の明瞭さ共に向上 変換ノイズ ⇒セグメント特徴量の導入 欠落した子音は完全には復元されない ⇒辞書行列の変換

非負値行列因子分解による構音障害者の声質変換 APPENDIX

子音の欠落 A Ak aK K Ki kI I 健常者 学習 データ A Ak aK Ki kI I 障害者 A Ak aK Ki kI I 入力データ 障害者

考察 欠落した子音は完全には復元されない A Ak aK K Ki kI I 健常者 学習 データ A Ak aK Ki kI I 障害者 入力データ 障害者

考察 欠落した子音は完全には復元されない A Ak aK K Ki kI I 健常者 学習 データ A Ak aK Ki kI I 障害者 入力データ 障害者