発話動作のしくみ.

Presentation on theme: "発話動作のしくみ."— Presentation transcript:

1 発話動作のしくみ

2 ＋

3 ＋

4 発話動作の特徴 運動にとどまらずに、声を出すための動作 多くの調音器官が協調した動作 熟練した連続動作（調音結合）
極めて速くて、精度の高い動作

5 発話動作の特徴 運動にとどまらずに、声を出すための動作 多くの調音器官が協調した動作 熟練した連続動作（調音結合）
極めて速くて、精度の高い動作

6 Vocal Tract Confuguration
発声のプロセス 音素列 発声 Motor Control Muscle Contraction 運動指令の生成 筋活動 運動指令の生成 Vocal Tract Acoustics Glottal Wave Speech Wave 声道共鳴 Vocal Tract Confuguration 声道形成 筋活動 Articulatory Motion Lips Jaw Tongue Velum 調音運動 調音運動 声道形成 声道音響

7 発話動作の特徴 運動にとどまらずに、声を出すための動作 多くの調音器官が協調した動作 熟練した連続動作（調音結合）
極めて速くて、精度の高い動作

8 口と喉との協調動作 　　無声子音の生成では、声道部の運動に協調して声門の開閉運動を制御することが重要

9 計測方法

10 観測結果 磁気センサ システム PGG ファイバ スコープ

11 観測結果 磁気センサ システム PGG ファイバ スコープ

12 声帯の開きのピーク時点 舌先の下降時点

13 /s/の方が/t/より早く声帯が開く

14 顎と唇の協調動作 「このあふぁふぁみたい」 両唇間の狭めが必要 上唇が下降し、 「狭め」を達成する 顎、下唇、上唇の協調動作で実現

15 mu k mj 運動の応答時間 ＜ 筋活動の応答時間 筋のスティスフネス制御による 協調動作生成メカニズム 感覚フィードバック （従来仮説）
運動の応答時間 　＜　筋活動の応答時間 筋のスティスフネス制御による 協調動作生成メカニズム 感覚フィードバック （従来仮説） k 2 1 mu mj

16 音素の調音特徴 子音の調音には普遍的な特徴がある 局所的に普遍的な特徴があっても、 声道の他の場所が変動すれば音声の スペクトルは変動する
　例えば、/p/では両唇が必ず閉鎖する /t/では舌先と口蓋で閉鎖を作る 局所的に普遍的な特徴があっても、 声道の他の場所が変動すれば音声の スペクトルは変動する （普遍的特長をスペクトルに見出すことが 難しい）

17 発話動作の特徴 運動にとどまらずに、声を出すための動作 多くの調音器官が協調した動作 熟練した連続動作（調音結合）
極めて速くて、精度の高い動作

18 調音結合による/g/の舌の違い igi ogo

19 調音結合による/b/の舌の違い ibi obo

20 調音結合 連続音声において、連続する音素の 調音特徴が時間的に重なり合う現象 母音 調音効果 子音　母音　　子音 調音効果

21 調音結合 後進性調音結合(Left-to-right coarticulation, Carryover)
先行音素の調音効果が後続音素よりも強い場合、 　調音器官の運動の遅れによって、後続音素が先行音素の 　調音の影響を受ける現象 　（例）　/tatata/ で/a/の舌は単独発声の場合より前にある。 　　　　　発声速度を早めるとさらにその傾向が強まる。（調音のなまけ現象） 　先行性調音結合(Right-to-left cocarticulation, Anticipatory) 　　後続音素の調音効果が先行音素よりも強い場合、 　　後続音素の調音特徴の影響が時間的に先行して先行音素 　　の調音に現れる現象 　　（例）　/Cu/で/u/の唇の突き出しが子音調音時で起こる 　　　　　　 /bV/で/b/の舌の構えは後続母音の構えになっている 　　　　　　 /gV/で/g/の舌と口蓋との接触位置は後続母音によって異なる

22 調音器官による重要度の違い 全ての調音器官で同じ場合 調音器官毎に異なる場合

23 発話動作の特徴 運動にとどまらずに、声を出すための動作 多くの調音器官が協調した動作 熟練した連続動作（調音結合）
極めて速くて、精度の高い動作

24 飽和効果を利用した精度の高い動作 運動指令が変化しても音声の音響的性質が変化しない飽和効 果が存在する
運動指令が変化しても音声の音響的性質が変化しない飽和効　果が存在する 飽和効果は、運動指令と調音位置の関係、および調音位置と　音声の関係の両方に存在する .

25 発話における感覚情報の役割り

26 脳の構造 大脳：　言語野、運動野 脳幹 小脳：　運動のタイミング、協調動作 延髄

27 大脳の機能 左右大脳半球はそれぞれ体の反対側の運動と知覚を司る 言葉を生成する場所： 左前頭葉のブローカ野
　左右大脳半球はそれぞれ体の反対側の運動と知覚を司る 　言葉を生成する場所：　左前頭葉のブローカ野 　　言葉を知覚する場所：　左側頭葉のウェルニッケ野 　　　　失語症疾患患者の解剖的知見（1860年代） 　　　　　脳の該当部位への電気刺激に対する反応に基づく知見（1950年代)

28 電気刺激による脳機能の解明 知覚野を刺激すると 運動野を電気刺激すると、 音の知覚反応が起きたり、 筋収縮や運動が起こったり、
発声がとぎれたりする 知覚野を刺激すると 音の知覚反応が起きたり、 記憶がよみがえったりする

29 運動野の抹消支配構造 抹消の支配部位は、体を逆立ちさせた配置 発声器官に関与する脳の部位は手足より 広い範囲に存在 発声動作は左半球が優位
　抹消の支配部位は、体を逆立ちさせた配置 　発声器官に関与する脳の部位は手足より 　　広い範囲に存在 　発声動作は左半球が優位 　　　（右利きの人の96％、左利きの人の70％） 　　単純な発声器官の動作では両半球が関与 　運動野を電気刺激しても意味のある言葉を話す 　　ことはない．　発話をするには、脳のいろいろな 　　部分が同時に活動することが必要 運動指令を出している源は脳幹であり、 　　大脳皮質は神経伝播の中継点との説もある

30 発話と聴覚の脳関連部位

31 発話に関連する脳活性部位 （ｆMRIによる測定）
「しゃ」　　　　　　　　　　　「ちゃ」　　　　　　　　　　「や」 　　　　　上段:被験者MH 下段：被験者TI 図5(a) 発話時から休息時を差し引いた脳活性部位．被験者MH、実験2（左列）、実験3（右列） 上段：「しゃ」　　　中断「ちゃ」　　　下段「や」

32 発話動作に関与する 感覚フィードバック情報
　固有受容系フィードバック 　　　感覚神経により筋の収縮度を脳に戻される 　聴覚フィードバック 　　　聴覚を介して自分の声（話しての声）がフィード 　　　バックされる 　触覚フィードバック 　　　上下唇の接触や舌と口蓋との接触感覚が 　　　フィードバックされる 　視覚フィードバック 　　　マガーグ効果：/g/の音声と/b/の唇画像と提示すると、、 　　　　視覚に引きずられて/b/と知覚される

33 感覚フィードバック経路

34 固有受容系（筋紡錘）のしくみ 運動指令 感覚情報 筋の伸張の大きさと速度の情報を中枢に戻す 腕などの筋に比べて、舌には筋紡錘が少ない
伝達速度は毎秒１２０ｍ、２０ｃｍ伝わるのに２ｍｓ程度

35 神経の仕組み 強い刺激に対しては神経発火の頻度が増大する

36 神経の伝播と速度 神経の伝播速度は毎秒60～120m 、30ｃｍ伝播するのに５～2.5ミリ秒
　伝播速度は神経の太さに比例し、直径10ミクロンで毎秒60m、20ミクロンで毎秒120m 　脳には10兆個のシナプスがある

37 伸張反射（膝蓋腱反射） 大腿四頭筋

38 聴覚フィードバック ランバート効果 自分の声が聞こえないと、無意識に声が大きくなる
　　自分の声が聞こえないと、無意識に声が大きくなる DAF(Delayed Auditory Feedback) 自分の声を時間を遅らせて聞かされると、発声が 　　しどろもどろになる 発声時に声の高さや音色を変化させて耳に聞かせると、 　それを補償するような発話が生じる 生まれつきの聴覚障害者は発話機能が獲得できない 　後天的な聴覚障害者は発話機能が持続する

39 声の高さを変えるフィードバック実験 一定の声の高さで発声することを指示 発声中、聞こえている声の高さを変化させて耳に提示

40 実験結果 聞こえている声の高さ 発声している声の高さ 約160ｍｓの時間遅れで、聞こえている声の高さを 修正するように声の高さが変化する

41 声の音色を変えるフィードバック実験 ホルマント周波数を変化させた声を耳に フィードバックさせる

42 聴覚フィードバック実験

43 感覚フィードバックの役割 発声動作の獲得には必須 発話動作中にも感覚フィードバックが必須か？
　発声動作の獲得には必須 　発話動作中にも感覚フィードバックが必須か？ 　　　ー　発話動作の速さと感覚フィードバックの処理時間 　　　　　　から、閉ループフィードバック制御とは考えられない 　　　ー　発話動作と声の因果関係を脳が学習し、学習した 　　　　　　モデルに基づいて発話の運動指令を生成 　　　－　学習にどのような感覚情報が使われるか？

44 実験装置 口蓋摂動装置 ゴム風船を外部から圧力制御する ことによって、口蓋の形状を変化させる 磁気センサーによる発話動作計測
Artificial palate balloon 口蓋摂動装置 　ゴム風船を外部から圧力制御する ことによって、口蓋の形状を変化させる Palate thickness: 1 mm (base), 1 mm (rubber) Inflated Palate height: 4 mm Inflation time: 60ms 磁気センサーによる発話動作計測 EMA recording EMA system Lips Tongue air Tube piston cylinder Jaw Placement of EMA coils

45 筋電（ＥＭＧ）測定 Tongue muscle activity is recorded by an EMG system.
Placement of surface electrodes Tongue muscle activity is recorded by an EMG system. EMG2 - Surface electrode (AgCl, 4.5 mm f) - Differential EMG recording at sampling rate of 16kHz - Rectify and smoothing (10ms) EMG1 Diagnostic test showed that the EMG magnitude is largest for /r/, suggesting that superior longitudinal muscle activity is mostly apparent in the differential EMG signal. Diagnostic test of EMG1

46 実験１ テスト音声: “iya ∫a∫a∫a∫a∫a∫a∫a∫a” “iya t∫at∫at∫at∫at∫at∫at∫at∫a”
被験者:成人男性２名 摂動条件 -　口蓋を膨らませる摂動とへこませる摂動 - 被験者に口蓋摂動が気づかれないように 　　最初の広母音/a/で摂動を頻度20％で与える

47 Mean error score for consonant identification
知覚実験 Mean error score for consonant identification (%) Syllable No. /∫/ Steady-state deflated Inflation Deflation Steady-state inflated /t∫/ Inflation Deflation Steady-state inflated

48 Inflated Palatal Perturbation
(subject A) Placement of EMA coils Speech signals, the horizontal and vertical positions of the jaw and the tongue (T1~T3: tongue tip to blade) , EMG signals and the perturbation trigger signal for unperturbed (black line) and perturbed (red line) trials. The green vertical line indicates the onset of the tongue-palate contact. The arrows indicate moments at which the difference between unperturbed and perturbed trajectories becomes statistically significant.

49 Inflated Palatal Perturbation
(subject B) (subject A) Speech signals, the horizontal and vertical positions of the jaw and the tongue (T1~T3: tongue tip to blade) , EMG signals and the perturbation trigger signal for unperturbed (black line) and perturbed (red line) trials. The green vertical line indicates the onset of the tongue-palate contact. The arrows indicate moments at which the difference between unperturbed and perturbed trajectories becomes statistically significant.

50 Deflated Palatal Perturbation
(subject A) Steady-state deflated Steady-state inflated Deflation Deflation

51 実験２ Test phrase: “iya ∫a∫a∫a∫a∫a∫a∫a∫a” Subjects: one adult male
Perturbation Condition - Inflated palatal perturbations at the moment of the production of the initial open vowel /a/ - Occurrence probability of 20 % Auditory masking - Bilateral presentation of masking pink noise of 88 dB SPL Tactile masking - Topical anaesthetic (4% Xylocaine solution, 5 cc) applied to the tongue blade and hard palate every 5 min.

52 Mean error score for fricative consonant identification
Perceptual Study Mean error score for fricative consonant identification (%) Unperturbed trials Normal Auditory mask Tactile mask Auditory & tactile mask Perturbed trials Normal Auditory mask Tactile mask Auditory & tactile mask Syllable No. There are few speech errors for unperturbed trials even if auditory feedback and tactile feedback are masked. In the perturbed trials, speech errors are apparent in the initial fricative, which is mostly misidentified as /t∫/. Auditory and tactile masking has an additive contribution to speech errors.

53 Articulatory and EMG Studies
Normal feedback Masked auditory feedback Speech signals, the horizontal and vertical positions of the jaw and the tongue (T1~T3: tongue tip to blade) , EMG signals and the perturbation trigger signal for unperturbed (black line) and perturbed (red line) trials. The green vertical line indicates the onset of the tongue-palate contact. The arrows indicate moments at which the difference between unperturbed and perturbed trajectories becomes statistically significant.

54 Masked auditory & tactile
Masked tactile feedback Masked auditory & tactile feedback Speech signals, the horizontal and vertical positions of the jaw and the tongue (T1~T3: tongue tip to blade) , EMG signals and the perturbation trigger signal for unperturbed (black line) and perturbed (red line) trials. The green vertical line indicates the onset of the tongue-palate contact.The arrows indicate moments at which the difference between unperturbed and perturbed trajectories becomes statistically significant.

55 Normal Feedback Condition
The tongue is immediately lowered and moved backward in response to an unexpected inflated palatal perturbation. The time lag of the downward shift from the tongue-palate contact onset (tactile feedback becomes available) ranged from 92 ms to 124 ms. The downward shift occurs earlier than the backward shift. Rapid change in the EMG magnitude in the initial syllable and gradual decay in the last syllables. (No significant change in the genioglossus muscle; see Ref. [3]) Displacement of downward shift of the tongue position T2. Time lag of the downward shift of tongue positionT2 from the tongue-palate contact onset.

56 Masked Feedback Condition
Smaller displacement of the downward shift. Longer time lag of the downward shift for the masked tactile feedback. In unperturbed trials, EMG magnitude is almost the same for normal and masked feedback conditions. In the perturbed trials, change in the EMG magnitude becomes smaller for either masked tactile or auditory , and much smaller for both. Tongue muscle activity in the unperturbed and perturbed trials for sensory-feedback conditions. NN: Normal AN: Auditory masking NT: Tactile masking AT: Auditory & tactile masking

57 Tongue-palate contact
口蓋パタベーションの補償動作 正中面上の運動軌跡 Control Trial Tongue-palate contact 舌奥 舌先 Perturbation 顎 Perturbed Trial 触覚フィードバックによる瞬時的な 補償動作 聴覚フィードバック による調整的な 補償動作 Control Unmasked Masked