CSP係数の識別に基づく話者の 頭部方向の推定

Presentation on theme: "CSP係数の識別に基づく話者の 頭部方向の推定"— Presentation transcript:

1 CSP係数の識別に基づく話者の 頭部方向の推定
電子情報通信学会技術研究報告　 2011年7月21, 22, 23日 高島遼一，滝口哲也，有木康雄 神戸大学大学院

2 研究背景 話者の位置の推定 話者の頭部方向の推定 頭部方向推定の利用できるタスク 「誰が話しているのか」 「誰に向かって話しているのか」
より詳細な状況理解 （会議システム等） 複数話者とロボットとの対話 雑談／システム要求の判別 呼びかけ （システム要求） 他人との会話

3 先行研究 マイクロホンアレー・ネットワークによる推定 複数のマイクロホンアレーを、話者を囲むように配置
各アレーから得られる音圧情報やCSPのピーク値など 左側のアレーのCSPの ピーク値や音圧が高くなる 低くなる 頭部方向 [7] A. Brutti, M. Omologo, and P. Svaizer, Proc. Interspeech05, pp , 2005. [8] J. M. Sachar, and H. F. Silverman, Proc. ICASSP04, vol. 4, pp , 2004.

4 研究目的 できるだけ少ないマイク数で、話者の位置や頭部の方向を推定したい アプローチ 音源位置や頭部方向によって異なる音響伝達特性(残響)に着目 影響：弱 影響：強 影響：弱 影響：強

5 Our previous work 音響伝達特性の識別に基づく話者の頭部方向の推定[高島, SP 2011-05]
音源位置： 頭部方向： 学習 学習データ 観測信号Oから 音響伝達特性H を推定する 音響伝達 特性を識別 識別結果 単一マイク 評価データ 候補となる音源位置、頭部方向毎に，観測信号 O の音響伝達特性 H を推定・学習 評価データも同様に伝達特性 H を推定し，識別することで音源位置・頭部方向を推定 単一マイクのみで音源位置と頭部方向が推定可能 音響伝達特性の推定が正確でないため，頭部方向の細かい変化の識別は困難 より発話内容にロバストな音響伝達特性（残響）のパラメータ化は？

6 提案手法(1/2) 2ch マイクを用いて得られるCSP (Cross-power Spectrum Phase) 係数に着目
頭部方向：横向き(180°) 頭部方向：正面(90°)

7 提案手法(2/2) 候補となる音源位置・頭部方向毎にCSP係数を計算し，SVMで学習する．
従来の音源位置推定法・頭部方向推定の先行研究との違い 残響特性をパラメータ化することが目的 CSP係数のピーク値以外の値も使用 事前に学習が必要 2ch マイクのみで実装可能 音源位置： 頭部方向： 学習 (SVM) 学習データ 観測信号Oから CSP係数を計算 CSP係数 を識別 (SVM) 識別結果 評価データ 2chマイク

8 実験環境 音声データ 収録環境 ATR研究用日本語音声データベースセットAより男性話者1名(50単語)
音源位置の候補数：６ スピーカの頭部方向：８ (全6×8 = 48通り) 残響時間：約1220msec マイク間隔： 30 cm 3500 6300 7200 2000 Microphones 1200 1500 Unit : mm Microphones Loudspeaker

9 実験環境 音声データ 収録環境 ATR研究用日本語音声データベースセットAより男性話者1名
音源位置の候補数：６ スピーカの頭部方向：８ (全6×8 = 48通り) 残響時間：約1220msec マイク間隔： 30 cm Microphones 3500 6300 7200 2000 Microphones 1200 1500 Unit : mm スピーカから見てマイクの方向を90°とする

10 分析条件 特徴量 位置・頭部回転方向の識別 CSP係数：512 次元
サンプリング周波数：12kHz　窓幅：32 msec　フレームシフト：8 msec 位置・頭部回転方向の識別 1単語ごとに位置・頭部方向の識別を行い，認識率を求める 全収録データ数： 位置・頭部方向毎に 50 単語 学習データ数： 位置・頭部方向毎に 1, 5, 10, 20, 30, 40単語 テストデータ数： 位置・頭部方向毎に10単語 (組み合わせを変えて5-foldのクロスバリデーション) 総テスト数：　2400 単語 (50 × 48) SVMのカーネル関数: ガウシアンカーネル SVMの学習誤りに対する重み係数C：1

11 学習データ数ごとの48クラス識別結果

12 次元数による精度の違い CSP係数の全次元の内、ピークを中心に次元数を増減させる
1(ピークの高さのみ) 51, 101, 201, 301, 401, 512(全次元) 401 512 301 101 1 51 201

13 次元数による精度の違い 位置を2に固定し，頭部方向のみの識別 (8クラス識別) 22.0 24.3 24.5 26.3 26.8 22.5
次元数＼学習単語数 1単語 5単語 10単語 20単語 30単語 40単語 1次元 (ピークのみ) 22.0 24.3 24.5 26.3 26.8 22.5 51次元 72.3 70.8 78.8 95.8 93.0 101次元 82.5 94.5 97.5 87.8 95.5 201次元 91.3 92.8 96.5 99.5 99.0 301次元 92.5 94.0 99.3 401次元 98.3 501次元 91.8 97.8

14 ピーク値のみを用いた場合のConfusion Matrix
ピークのみを用いた場合，ピーク値が高いか低いか程度の識別しかできていない 予測値 実測値 角度 45 90 135 180 225 270 315 20 60 8 74 10 92 2 6 22

15 雑音環境下での識別精度 2chマイクで収録した音声のうち，テストデータのみにピンクノイズを足し合わせる SN比：5, 10, 20 dB

16 雑音環境下での識別精度 音源位置ごとの位置・頭部方向の識別精度 マイクの正面位置 (2・5) の認識精度が特に低い SNR 20 dB
Microphones

17 雑音環境下での識別精度 位置２におけるConfusion matrix (SNR 20 dB) ほぼ全てのデータを90°と認識 予測値
実測値 角度 45 90 135 180 225 270 315 4 96 2 98 100 17

18 雑音環境下での識別精度 両チャネルの収録音声に全く同じ波形のピンクノイズを足したことが原因
大多数の評価データが90° (正面方向)と認識された 位置2, 頭部方向0° ノイズなし 位置2, 頭部方向0° SNR20 dB 位置2, 頭部方向90° ノイズなし

19 まとめと今後の課題 話者の位置・頭部方向ごとに異なる残響特性に着目
CSP係数の形状を残響特性のパラメータとして用いて識別することで，話者の位置と頭部方向の推定を2chマイクのみで行った 雑音環境下では雑音・音声の識別が必要 テスト時の位置や頭部方向が学習時より少しずれた場合の評価 音源位置・頭部方向毎に事前の学習が必要なため、使えるタスクが限られる 既知の位置・頭部方向の伝達特性を用いて、回帰により未知の位置・頭部方向の伝達特性を表現できないか