音声生成モデル（物理モデル）.

Presentation on theme: "音声生成モデル（物理モデル）."— Presentation transcript:

1 音声生成モデル（物理モデル）

2 音声生成モデル Ai 肺 声道 声帯 声門の開き 声道断面積 肺圧 声帯張力（K) A1,A2,…,AN 生成モデル
口蓋帆 Ai 　　声道　　 　　　　声帯 　　　　　肺　 体積速度 音圧 肺圧 　声門の開き 　声帯張力（K) 声道断面積 A1,A2,…,AN 生成モデル 　　音源振幅　　　有声／無声　スペクトルパラメータ 　　　　　　　　　　　ピッチ周期 合成モデル

3 音声生成モデルのスペクトル表現

4 声道共鳴のしくみ 唇から反射してきた音波（音圧）が声帯の位置で増大する 体積速度パタン 音圧パタン 振幅 唇 声道内の位置 声帯 時間
　振幅 唇　　　　　声道内の位置　　　　　　　声帯 　時間　 音源信号

5 均一音響管の共鳴 共振周波数=音速／波長 音速＝34000cm/秒 17cm 34000/(17×4)=500 Hz

6 均一音響管の音声スペクトル

7 声道の音響特性

8 声道内での音の伝播 反射係数

9 声道内での音の伝播

10 声道内での音の伝播

11 声道内での音の伝播

12 声道内での音の伝播

13 声道内での音の伝播

14 声道内での音の伝播

15 声道断面積と声道共鳴特性 /a/ /i / 声道断面積関数 声帯 唇 声道共鳴特性 （音声スペクトル） /u/ /e/

16 声道断面積関数とホルマント周波数の関係（摂動理論）
0.5 1 1.5 2 2.5 3 3.5 4 4.5 0.2 0.4 0.6 0.8 1.2 -1.5 -1 -0.5 フーリエ余弦成分

17 声道フィルタとPARCORフィとの等価性

18 声道断面積の推定

19 声道断面積の直接計測 声道断面積関数 唇 声帯

20 MRI３次元画像による 声道断面積の計測

21 声道断面積の音響計測 Microphone Speaker Tube Incident Reflected
So I have been engaged in the “acoustic measurement of vocal tract shape”. This is a schematic diagram of the measurement. And this is a snapshot of the experiment. Here we have a long acrylic tube that has an audio speaker at the left end and a small microphone stuck into the tube at the middle. The subject’s mouth, or a vocal tract model, is placed at the right end. For the measurement, a band-limited acoustic pulse is generated from the speaker and travels thru the tube. The pulse propagates in the vocal tract and then returns. Here let’s assume that this reflected signal is obtained as a consequence of the ratio of each adjacent cross-sectional area in the vocal tract, perpendicular to the direction of plane wave propagation. The impedance of wall surrounding the vocal tract also affects this acoustic reflection. A series of cross-sectional areas is then estimated based on the acoustic inversion. This is the concept of the acoustic measurement. Microphone Speaker Tube Incident Area ratio Wall impedance Reflected Inverse acoustics

22 計測結果 3D vocal tract replica (UV curable resin) Cylindrical model
These figures show some experimental results obtained with a couple of models. On the left is a replica of the vocal tract made of ultraviolet curable resin, which is initially liquid form and solidified by an ultraviolet LASER beam. The resin replica was created based on a polygonal wire frame of vocal tract contour extracted from MRI volumetric images. I have got data for some Japanese vowel shapes through the courtesy of Dr. Miki of Future University – Hakodate. In this figure, the horizontal axis is the distance from lips and the vertical axis the cross-sectional area. The blue line shows acoustically measured areas and the black line the areas determined on the wire frame by the geometric method. We can see that the two lines are roughly close to each other, with a little different in the region where areas change steeply. The other model, on the right here, is a cylindrical model made of soft silicone rubber, which has a constriction in the middle. In this figure, the black line shows the geometric areas and, in this experiment, acoustically measured areas should fit to this line because the model is cylindrical. Here we have two results estimated in different ways. The red line is the result obtained when we assumed a soft wall and determined the values of the impedance parameters so as to minimize the error between the estimated areas and the geometric areas. On the other hand, the blue line is the result when we assumed a rigid wall. The best-fitted values of the impedance parameters were consistent with those acquired from a mechanical vibration test with the same material. These kinds of acoustic test help us know what is going on inside the vocal tract, and we can reflect that knowledge in the talking robot. 3D vocal tract replica (UV curable resin) Cylindrical model (soft silicone rubber) Dr. Miki Future University – Hakodate Impedance consistent with the result of vibration test

23 声帯の開放と閉鎖 声帯 披裂軟骨 甲状軟骨

24 声帯の振動 声帯 披裂軟骨 甲状軟骨

25 声帯振動のパタン 通常発声の場合 うら声発声の場合

26 声帯振動モデル 1 m 2 k r 声帯の運動方程式

27 音声生成の電気等価回路

28 声門を流れる空気流 (声門体積速度） 声道の音響インピーダンスのリアクタンス（電気回路のコイルに相当）成分
の影響により、声門体積速度波形は右側に傾き、頂点の部分が丸びをおびる

29 声帯振動と声質 強い声では、OQが小でSQが小．弱い声では、OQが大でSQが大.
声帯音源のスペクトルは、1オクターブで約12～ 18dB減衰する特性をもつ. 　　強い声の方が減衰が小さい（倍音に富んだスペクトルになる）

30 音声生成モデルのシミュレーション 声道の音響インピーダンスのリアクタンス（電気回路のコイルに相当）成分の影響により、声門体積速度波形は右側に傾き、頂点の部分が丸びをおびる. 声道部と声帯部とは回路的にカップリングしており、声道の共振特性の影響が声帯音源波形に及ぶ.（ソースフィルタモデルとの相違点）

31 音声生成モデルによる子音の生成 乱流音源のモデル