音響信号処理特論 音響信号処理の基礎２ （その１）

Presentation on theme: "音響信号処理特論 音響信号処理の基礎２ （その１）"— Presentation transcript:

1 音響信号処理特論 音響信号処理の基礎２ （その１）
2013年6月21日 奈良先端科学技術大学院大学 猿渡　洋

2 本日の予定 イントロダクション 空間音響（聴空間の知覚） 音場再現（聴空間の合成） 音環境の制御 人間はどのようにして音源位置を把握するのか
聴覚特性を利用した仮想音源の合成 音場再現（聴空間の合成） 音場制御とは？ 逆フィルタ制御による音場再現

3 空間内の音を操る 従来の応用分野（音の前方，左右の定位感制御） 新しい応用分野（真のステレオフォニクス）
オーディオシステム PA（Public Address）システム 新しい応用分野（真のステレオフォニクス） 空間上の「音」を消す 制御点での音圧を抑制（騒音の低減） 空間上に「音」を創る 厳密な音の再現（すべての音響情報の保存と再現） いわゆる「音のVirtual Reality」 音場制御：　空間の音の状態を物理的に制御

4 市販のオーディオシステム ステレオからマルチチャンネルサラウンドへ 従来のステレオ再生 5.1chシステム

5 音空間の再現 これまでの再生手法 さらに厳密に再現するために 元の空間での音の伝播・音の知覚 再生する空間における音の振る舞い
音の到来方向（音圧，到来時間差）を制御 さらに厳密に再現するために 元の音空間の持つ反射・残響などの空間的な情報を再現 再生する室内の反射・残響の影響を除去 必要な知見 元の空間での音の伝播・音の知覚 再生する空間における音の振る舞い

6 空間知覚 音源（音像）の位置を知る能力 方向の知覚（方向定位） 距離の知覚（距離定位） 音源 距離 方向

7 音源の方向知覚（１） 左右の耳に到達する音波のわずかな時間の違いと強さの違いを手がかり 両耳間時間差 両耳間音圧差 到達距離に差 Amp.
time time 時間差

8 音源の方向知覚（２） ? 混同の円錐 2点間の音圧差と時間差だけでは，音源の位置を一意的に明らかにすることはできない
音圧差と時間差の情報により，音像が知覚される円錐底面の周

9 音源の方向知覚（３） 両耳間の時間差と音圧差以外の情報 視覚との相互作用によるスペクトルパターンの学習 広帯域の音源は定位しやすい
胴体，頭部，耳介などにおける音波の回折によるスペクトルの変化（HRTF） 頭部の運動によるスペクトルの変化 視覚との相互作用によるスペクトルパターンの学習 広帯域の音源は定位しやすい 高域成分が音像定位に寄与 純音では定位精度は悪くなる

10 音源の距離知覚 自由空間の場合 有響下の空間の場合 慣れ親しんだ音の場合は音圧レベルが主な手がかり
音源が多数ある場合には，音源の音圧レベルを相対的に知覚 ある距離を越えると，空気吸音減衰が有効 有響下の空間の場合 直接音と反射音の強さの比 直接音と反射音間の時間遅れ 反射音は距離感だけでなく，拡がり感や方向知覚（定位感）に影響を与える

11 先行音効果（１） 最初に到来する音源の方向が音像の定位に支配的に影響すること 2つのスピーカの間に音像を知覚
右側のスピーカからの音しか知覚できない

12 先行音効果（２） 先行音効果の成立する条件 コヒーレントな信号 信号の到来時間差や音圧差が影響 音圧 先行音効果の成立する領域 時間

13 頭部伝達関数（１） Head Related Transfer Function: HRTF 自由空間のある１点から鼓膜面上までの伝達関数
室内の空間情報は一切含まれていない 純粋に胴体や，頭部，耳介の影響のみが含まれる 実際には外耳道入口での音圧が測定される マイクロホンを鼓膜面の直前まで入れるのは，被験者に対する危険を伴う 外耳道伝達関数の個人差が大きい 音源の方向や距離によって変化する

14 頭部伝達関数（２） 音源が受聴者の右90度に存在するときの左耳のHRTFの周波数振幅特性

15 HRTFを用いた仮想音の合成 ドライソースと任意の音源位置からの頭部伝達関数を畳み込み HRTF convolution

16 空間内の音を操る 従来の応用分野（音の前方，左右の定位感制御） 新しい応用分野（真のステレオフォニクス）
オーディオシステム PA（Public Address）システム 新しい応用分野（真のステレオフォニクス） 空間上の「音」を消す 制御点での音圧を抑制（騒音の低減） 空間上に「音」を創る 厳密な音の再現（すべての音響情報の保存と再現） いわゆる「音のVirtual Reality」 音場制御：　空間の音の状態を物理的に制御

17 音を消す 直感的に分かりやすく言うと 科学的に厳密に言うと
騒音から発した音波を他のスピーカから発した音波で干渉させることにより，騒音を低減する方法 科学的に厳密に言うと 騒音の低減を目的として処理された信号により，スピーカを駆動する方法 騒音源 スピーカ 制御点 Controller

18 能動騒音制御(Active Noise Control)
ANCの応用分野 自動車騒音（室内騒音，排気騒音，タイヤ騒音） 航空機の室内騒音 建築音響分野（塀，壁，吸音材，配管系の振動制御） 電気製品の騒音（冷蔵庫，掃除機） 発電所，工場における騒音

19 「音空間」の再現 再びマルチチャンネルサラウンド 従来のステレオ再生 5.1chシステム 場としての 臨場感は？？ 音の移動感や包囲感が向上

20 音場再現 原音場 再現音場 全ての音響情報の保存と再現 音の「移動感」「距離感」「包囲感」の完全な再現
ダミーヘッド＋マイクロホン 室内音響伝達特性 逆システム 原音場 再現音場 音の「移動感」「距離感」「包囲感」の完全な再現 コンサートホール（原音場）における受聴者周辺の音空間（音場）をリスニングルームにて再現 全ての音響情報の保存と再現

21 再現規模による分類 空間上の点を制御 空間上のフィールドを制御 バイノーラルシステム トランスオーラルシステム 境界音場制御
多点入力・多点出力のトランスオーラルシステム （多チャネル音場再現システム） 耳元周辺の制御 頭部周辺の制御

22 ハードウェア的な分類 没入型 開放型 デバイスを身に付けることにより，仮想世界の合成情報以外の感覚情報を遮断する ヘッドホン，HMD
特定のデバイスを身に付けずに，日常生活において違和感のない仮想世界を実現する スピーカ

23 バイノーラルシステム Inverse System ダミーヘッド（もしくはHATS）を用いて収音，ヘッドフォンで再生 システムが簡易
Head And Torso Simulator (HATS) 原音場 聴取者 ダミーヘッド（もしくはHATS）を用いて収音，ヘッドフォンで再生 システムが簡易 聴取者の頭部回転や移動に弱く，音像が頭内定位する

24 トランスオーラルシステム ダミーヘッドで収音，2個以上のスピーカで再生
Inverse System 再現音場 原音場 ダミーヘッドで収音，2個以上のスピーカで再生 再現音場の伝達特性を考慮するため，逆フィルタを使用（残響やクロストークの抑圧）

25 境界音場制御に基づく音場再現 Control area Inverse System
Kirchhoff-Helmholtz積分方程式と逆システム理論をベース ある境界上の音圧，法線方向粒子速度を完全に制御することにより，その境界内部の音場を完全に制御

26 音場再現システムの比較 名称 基本理論 制御領域 空間的な再現能力 モノフォニック 波動 なし ステレオ 拡がり感 マルチスピーカ
スピーカに囲まれた内部 方向，拡がり感 バイノーラル システム 両耳の2点 方向，距離，拡がり感 トランスオーラル 境界音場制御 波動＋システム 制御領域を自由に決定可能

27 トランスオーラルシステムの作り方 原音を収録 再現する系の室内伝達関数を測定 伝達関数のインパルス応答から逆フィルタを設計
H11 H21 H31 H12 H22 H32 G12 G11 G21 G31 G32 G22 原音を収録 再現する系の室内伝達関数を測定 伝達関数のインパルス応答から逆フィルタを設計 収録した原音に逆フィルタを畳み込む

28 室内における音の伝播 壁面・物体での多重反射により複雑な音場を形成 Loudspeaker 二次反射音 直接音 一次反射音
Microphone 壁面・物体での多重反射により複雑な音場を形成

29 室内伝達関数 音源からパルスを発生させたときの受音信号 室内の反射状況をインパルス信号列で表現 単位インパルスに対する応答＝インパルス応答
時間領域のインパルス応答 周波数振幅特性

30 室内伝達関数の測定方法 時間的に幅の狭いパルスをスピーカから出力し，その応答を測定
全帯域で大きなエネルギーをもつ信号を用いて，クロススペクトル法で計算 TSP（time stretched pulse） その他（楽音信号，音声，白色雑音，その他）

31 Time Stretched Pulse (TSP)を用いた測定
インパルス応答の位相を周波数の2乗に比例して変化させることにより，時間軸を引き伸ばした信号 時間的に瞬時周波数が均等に遷移 信号長が約0.005秒の場合 信号長が約11秒の場合

32 逆フィルタ 室内伝達特性の逆特性を持つフィルタ 入力信号に逆フィルタを畳み込むことにより，音源－制御点間の反射や残響の影響を除去できる
Loudspeaker Microphone

33 多点逆システム （MINT: Multi-input/output INverse Theorem）
安定な逆システムを構成するために複数のスピーカ，逆フィルタを用いる 一方の伝達系に０成分があっても，もう一方でカバーすることが可能

34 多チャネル-多点制御系と逆フィルタ … … … … … … … … H11 H12 H1J S1 X1 X1 X2 XJ X2 D1 C1
Loudspeaker H11 H12 H1J S1 … Inverse filter X1 Control point G11 X1 X2 XJ X2 … G21 D1 GJ1 C1 XJ … D2 G1I C2 … … … X1 G2I HI１ … X2 SI GJI DJ HI2 CJ … XJ HIJ I: 二次音源数，　J: 制御点数

35 逆フィルタの基本的な設計法 時間領域での設計 周波数領域での設計 二次音源数≦制御点数 最小二乗解（近似解）
二次音源数≦制御点数 最小二乗解（近似解） 二次音源数＞制御点数 MINT法（厳密解） 正確な逆フィルタを求めることが出来るが，計算量大 周波数領域での設計 二次音源数＜制御点数 最小二乗解（近似解） 二次音源数＝制御点数 唯一の解 二次音源数＞制御点数 SVDによる一般逆行列 少ない計算量で求めることが出来るが，必ずしも正確でない

36 特異値分解(SVD)による逆フィルタ設計
H11 H21 H31 H12 H22 H32 G12 G11 G21 G31 G32 G22

37 特異値分解(SVD)による逆フィルタ設計
伝達関数 　　　 を周波数ごとに特異値分解 I: 2 次音源数、 J: 制御点数 （I > J） μj(ωn)： 特異値 伝達関数 直交行列 特異値が並ぶ行列 直交行列

38 特異値分解(SVD)による逆フィルタ設計
特異値の逆数が並ぶ行列 特異値の逆数を 0 に置き換えることで逆特性の緩和が可能 0 に置き換える数を打ち切り数と呼ぶ 打ち切り数を増やすことでより緩和される 打ち切り数 0 の場合、最小ノルム解となる

39 多チャネル音場再現システム Equalized Area Primary field Secondary field Inverse
System Primary field Secondary field

40 音場再現の応用例： 多ユーザ化 各制御点を独立に制御できるので，制御点の配置を工夫することによって複数の受聴者に異なる音の提示が可能
音場再現の応用例：　多ユーザ化 各制御点を独立に制御できるので，制御点の配置を工夫することによって複数の受聴者に異なる音の提示が可能 Screen Signal processing Multimedia contents こんにちは！ Visual data Hello! Audio data

41 高品質・高臨場感な音場再現をめざして 音場再現システム スピーカ数　　受音点数 逆フィルタ 制御領域・帯域 再生環境

42 室内伝達特性の変動の要因 物理的（物体的）な配置の変化 室内の自然環境変化 スピーカや受音点の位置 新たな物体の出現 温度（音速が変化）
湿度（周波数特性が変化） 風（見かけの音速変化や屈折による伝達経路の変化，音源の指向特性の変化）

43 逆システムの安定性 逆システムが不安定だと 条件数 伝達系の互いの経路が似ていることを意味する 誤差の拡大（雑音感が強くなる）
逆システムの安定性に関する指標 大きいほど逆行列が不安定 Condition number Frequency [Hz] 2次音源数16，制御点数6における条件数

44 スピーカ数と安定性 スピーカ数を増やすことにより，安定性が向上 219.7 Hz 878.9 Hz Condition number
Number of secondary sources Number of secondary sources スピーカ数を増やすことにより，安定性が向上

45 制御点数と安定性 制御点数を増やすことにより，伝達経路の独立性が低下
スピーカ数を16としたときの条件数の変化 制御点数を増やすことにより，伝達経路の独立性が低下 制御領域を広くしたり，制御周波数帯域を広くするためには，多くの制御点が必要

46 室内伝達特性の時変性とその対処 逆フィルタのオフライン設計 逆フィルタのオンライン処理（適応フィルタ） 特別なハードウェアを必要としない
伝達特性の変化には追従できない 逆フィルタのオンライン処理（適応フィルタ） 伝達特性の変化に追従可能 制御点には信号を逐次観測するためのセンサとなるマイクロホンが必要

47 適応的な音場再現システム 原音場 再現音場 （コンサートホールなど） （リスニングルーム） スピーカ ダミーヘッド ＋マイクロホン
推定した変動に基づき，逆フィルタを更新 ダミーヘッド ＋マイクロホン ユーザー周りの音空間を制御 逆フィルタ エラーセンサ 観測した音と原音から室内環境の変動を推定 エラーセンサで現在再生されている音を収録 環境変動の推定 原音場 （コンサートホールなど） 再現音場 （リスニングルーム）

48 アプローチ 伝達系の変動を推定し，それに応じた厳密な逆フィルタを再設計 伝達系の変動に応じて逆特性を緩和した逆フィルタを設計
伝達系の変動に応じてシステムの規模を変更

49 室内インパルス応答の温度変化の補正 線形伸縮処理によるインパルス応答補正
インパルス応答の時間軸伸縮処理 室温以外の環境条件が不変であれば，インパルス応答を適当な伸縮率で伸縮すれば室温変化が吸収可能（引地，板倉， 1994） 室内温度変化に対して，逆フィルタ設計に用いる室内インパルス応答を伸縮し，逆フィルタを再設計

50 再現精度の比較(温度変化：約１℃) 提案法は温度計に基づく伸縮処理よりも良好な結果 提案法では信号観測位置による差はない

51 逆フィルタの緩和処理 on-line adaptive-TSVD: OATSVD
適応的な逆フィルタの緩和に基づく環境変化にロバストな音場再現システム 逆フィルタの緩和 逆フィルタの精度を落とすことによって、音質劣化を防止 打ち切り特異値分解（TSVD）により逆フィルタを緩和 利点 全ての制御点に信号観測用センサを配置する必要がない アルゴリズムも簡素

52 試聴実験による再現音の比較 再生音の音質 音像定位 音質は従来法に比べ向上 定位精度は従来法と同等

53 音場制御の未来図 DVD鑑賞 （吹き替え音声） 交通情報 ロードノイズ エンジンノイズ DVD鑑賞 （低音強調） 音声認識カーナビ の使用