Buried Markov Modelを用いた 構音障害者の音声認識の検討

Presentation on theme: "Buried Markov Modelを用いた 構音障害者の音声認識の検討"— Presentation transcript:

1 Buried Markov Modelを用いた 構音障害者の音声認識の検討
神戸大学大学院工学研究科　　 　宮本 千琴，駒井 祐人，滝口 哲也，有木 康雄 追手門学院大学経済学部 　李 義昭

2 構音障害 構音障害とは 構音障害の原因の一つ：脳性マヒ アテトーゼ（不随意運動）が生じる 特にアテトーゼの生じやすい状況 健常者 構音障害者
言葉を正しく明瞭に発音できない症状 構音障害の原因の一つ：脳性マヒ 出生前や出生時に脳に受けた外傷のため筋肉の制御が難しい 　　　　アテトーゼ（不随意運動）が生じる 特にアテトーゼの生じやすい状況 －意図的動作時 －緊張状態 健常者 構音障害者 外出、ごぶさた、ジグザグ、入浴、パイプ

3 研究背景 音声認識技術の様々な状況での利用 様々な人が生活の中で使う機会が増えている 福祉分野における情報技術の発展
カーナビゲーションの操作 会議音声の議事録化 駅での音声案内 様々な人が生活の中で使う機会が増えている 成人だけでなく、子供や高齢者も利用できる 福祉分野における情報技術の発展 超高齢社会（2800万人）、身体障害者（366万人） 平成20年　総務省、内閣府障害白書

4 構音障害者の音声でも認識可能なシステムの実現
研究目的 現在、日本に言語障害者は４万２０００人 　　　　　　　（平成20年版　障害者白書） 言語障害者を対象とした研究は少ない 脳性マヒの方は、構音障害＋手足の不自由 発話は自分の気持ちをよく表す手段 発話は重要なコミュニケーション手段の一つ 発話内容が分かれば、会話時にお互いの理解がより深まる 構音障害者の音声でも認識可能なシステムの実現

5 音声認識の実現 職域開発 音声認識ツールの使用による 　　　　障害者の雇用機会増加への期待！ コミュニケーションの広がり 講演の補助等への活用

6 課題① 構音障害者は、発話スタイルが健常者と異なるため、 従来のモデルでは認識が困難 →構音障害者モデルの作成
不特定話者（健常者）モデルでの認識結果 →構音障害者モデルの作成

7 課題② 構音障害者モデル (HMM) の作成 →ΔMFCCの認識率が低い 特定話者モデルでの認識結果
健常者に比べて時間変化がうまく表現できていない

8 これまでの取り組み 時間変化を表す特徴量を用いた時の認識率が低い 時間変化をより表すようにする ΔMFCCの代わりにセグメント特徴量を用いる
去年10月の本研究会で発表[1] [1]``構音障害者の音声認識における動的特徴量の考察,’’ 電子情報通信学会技術研究報告, SP , pp.37-42,

9 セグメント特徴量 前後数フレーム分のΔMFCCから特徴量を構成 n フレーム ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・ ・・・
(12次元) ・・・ ・・・ ・・・ ΔMFCCを結合させたベクトル ( 12×n 次元) PCA ・・・ ・・・ 音声特徴量 (N 次元)

10 本発表でのアプローチ 特徴量ではなくモデルに着目 従来のHMMにおける仮定 Buried Markov Model[2]を用いる
状態は１フレーム前の状態によって決まる 観測は各フレームの状態によって決まる 音声の生成構造が単純化されているため扱いやすい 時間的な変化特性を十分に表現出来ていない Buried Markov Model[2]を用いる HMMの各フレームの観測系列間に時間的依存関係を示す 　　条件付き確率のエッジを加えたモデル 状態によって親との依存関係のパターンが決まる [2]J.A. Bilmes, ``Buried Markov models: a graphical modeling approach to automatic speech recognition,'‘ Computer Speech and Language, Volume 17, Issues 2-3, , 2003.

11 Hidden Markov Model (HMM)
time 1 2 3 State Feature :時間長 :t番目のフレームにおける出力 :観測に対する状態

12 Buried Markov Model (BMM)
time 1 2 3 State Feature :フレームｔにおける状態 　によって一意に決まる 　出力間のエッジの集合を決定する関数

13 BMMの学習 BMMの構造学習 (Pairwiseアルゴリズム＋独立性検定) BMMのパラメータ学習 (EMアルゴリズム) BMMの構築
識別的依存関係の習得 冗長性の検定 ：ターゲットノード ：親ノード集合

14 独立性検定 Kendallの順位相関係数 2つの変数の順位の間の相関の強さを表す指標 ：ノード について青の領域にある データ
：ノード　について青の領域にある 　データ ：ノード　について白の領域にある 　データ ：データサイズ 参考文献：山本 他, ``Buried Markov Modelを用いた音声認識モデルの構築法の検討,'' 　　　　　　　情処研報，2009-SLP-79, No.21, pp.1-6, 2009.

15 BMMを用いた音素認識実験 実験条件 実験データ：構音障害者１名 発話内容：ATR音素バランス単語216単語×5回発話
サンプリング周波数：16kHz フレーム窓長：25msec フレーム周期：10msec 特徴量：12次MFCC＋ΔMFCC 状態数：43音素3状態 探索過去フレーム数、親ノード数をそれぞれ変化させ比較

16 実験結果1 (探索過去フレーム数＝5)

17 実験結果2 (親ノードの上限数=1)

18 実験結果3 (親ノードの上限数=3)

19 実験結果4 (親ノードの上限数=5)

20 考察 構造学習時に音声データの音素ラベル情報とその時間情報が必要

21 まとめ 発話が不安定な構音障害者の音声認識精度を改善するために、観測ノード間の時間的な依存関係を記述できるBMMを用いた音声認識手法を検討
構造学習手法の検討 複数話者での有効性の確認 音声特徴だけでなく画像特徴も共に用いる

22 ご清聴ありがとうございました