Basis vectors generation 基底の反復生成と教師ありNMFを用いた信号解析 第12回音声言語シンポジウム 34 ○中鹿亘，滝口哲也，有木康雄 （神戸大） [1] P. Smaragdis, 2003 非負値行列因子分解(NMF)による楽音解析[1] 現在最も主流になっている楽音解析手法 音楽音響信号のスペクトログラムをNMFによって分解 はじめに 研究背景 音楽信号処理の高い関心 自動採譜技術の期待 近年，音楽コンテンツが爆発的に増加している NMF…非負行列Xを，２つの非負行列W，Hの積に分解するアルゴリズム 音楽アプリケーションなど，様々なアプリケーションへ応用可能 X W H 楽音解析 ≒自動採譜 音響信号(wav)から楽譜信号(midi)への変換 複数の音が混ざり合う信号から，個別の音を推定する逆問題 ・この行列が未知 　⇒教師なしNMF ・この行列が既知 　⇒教師ありNMF この分解アルゴリズムを音楽信号に適用 観測スペクトル 基底行列 アクティビティ行列 発音時刻などの情報を含む 録音物(wavデータ)から楽譜(midiデータ)へ，自動的に変換する 基本周波数の情報を含む 従来手法の問題点 提案手法 教師なしNMFによる楽音解析の問題点 研究の動機 教師なしNMFの問題点：意図しない基底が現れてしまう 教師ありNMFの問題点：全ての基底を用意するのは非現実的 ⇒　確率的な生成モデルから，カテゴリ内の基底を全て生成できないか？ 楽器や音素など ある音高の 微小に変動するスペクトル あらゆる音高の スペクトル PSE スペクトルが倍音成分のみ ⇒音高が求まる 分散と平均で表されるスペクトル包絡 ⇒　本研究では確率スペクトル包絡 （PSE) と呼ぶ 意図しない基底が現れてしまう 教師なしNMFでは、機械的に分解しているので スペクトルが混在している ⇒音高が求まらない 提案手法の流れ 学習ステージと解析ステージに分かれる 教師ありNMFによる楽音解析の問題点 確率スペクトル包絡からランダムにスペクトルを生成 予め基底を学習させる Learning signals Test signals 観測スペクトル 基底行列 アクティビティ行列 STFT STFT 楽器ごとの学習用スペクトルを求める unsupervised NMF Basis vectors generation supervised NMF 教師ありNMFによって曲を解析 既知 確率スペクトル包絡の学習 Gaussian Process Distance Calculation 観測スペクトログラムとの距離を計算 Iteration データの数が膨大 全ての楽器，全ての音高について基底を用意すると 比較的精度は高いが， 全ての基底を用意するのは 現実的ではない PSEs Separated sources 学習ステージ 解析ステージ [2] E. Snelson and Z. Ghahramani, 2006 学習ステージ ３．確率スペクトル包絡の学習 通常のGPとSPGP+HSの違い データベース ガウシアンプロセス(GP)で 　確率的なスペクトル包絡を近似 １．教師なしNMFにより基底行列を計算 学習信号のスペクトログラムを教師なしNMFで分解 ガウス分布に従った確率過程 任意の関数曲線を分散込みで近似できる GP カテゴリごとに学習信号を用意する 学習信号は単旋律 K(x,x’)は RBFカーネル 学習データ 基底行列 アクティビティ行列 スペクトログラム カテゴリ c us-NMF 任意の周波数　　における予測値　　は スペクトルピークの集合Dを用いて計算される ピーク抽出 求めたいもの SPGP +HS 平均曲線 分散曲線 GP スペクトルピーク集合 ２．基底行列からスペクトルピークを抽出 倍音とその強度のペア(f,y)を全て抽出 本研究では，分散曲線を精度よく近似するため ガウシアンプロセスを拡張したSPGP (sparse pseudo-input Gaussian process) +HS [2] を用いる 2010 Toru Nakashika, Ariki Laboratory, Kobe University.

解析ステージ 評価実験 ２．調波フィルタを掛けてスペクトルを生成 ３．テストデータに対し教師ありNMFを実行 調波フィルタはスペクトルの基本周波数を決める 音高の異なる複数の調波フィルタを掛ける ３．テストデータに対し教師ありNMFを実行 テストデータのスペクトログラムをNMFの入力とする 擬似逆行列より，アクティビティ行列を直接求める 確率スペクトル包絡から生成された基底行列を使用 １．確率スペクトル包絡から 　　ランダムにスペクトル包絡を生成 ガウシアンプロセスの予測値　　　　　を用いる カテゴリごとに確率スペクトル包絡が存在 非負擬似正規分布に基づいてランダム生成 調波フィルタは，任意の音高　　について， 混合ガウシアンコンポーネントで計算される 1. 擬似逆行列を計算 2. 非負空間へ射影 3. 正規化 擬似逆行列を用いた教師ありNMFによる アクティビティ行列を算出するまでの流れ テストデータ 調波フィルタ 正規分布を基準軸で折り返した確率密度関数 スペクトログラム ピッチ付与 H(p) アクティビティ行列 カテゴリC1 ランダム生成 s-NMF H … ランダム基底行列 確率スペクトル包絡 生成されたスペクトル包絡 生成された基底スペクトル 非負擬似正規分布は，非負値をとるスペクトルの生成に相応しい １．～３．へ データベース 解析結果 ４．選択的アルゴリズムによる最適解探索 観測スペクトログラムと，WHの距離を計算 １．～３．を繰り返し， 距離が最も最小となる(W,H)を解析結果とする カテゴリC2 確率スペクトル包絡 生成されたスペクトル包絡 生成された基底スペクトル 解析結果 ①piano1で演奏した解析結果の例 実験結果 各手法による自動採譜の正解率 Note Number Time 評価実験 正解データ 提案手法 2 4 6 8 10 12 40 45 50 55 60 65 70 75 80 実験１：未学習データへの予測精度をみる実験 提案手法により，12秒程度の曲を解析 学習，テスト共にMIDIデータを演奏し，録音 単一楽器(piano1)のみを用いてPSEを学習 様々な環境下で録音された曲を解析し， 提案手法の頑健性をみる 比較手法 ：全音符数 ：挿入誤り数 ：削除誤り数 2 4 6 8 10 12 40 45 50 55 60 65 70 75 80 2 4 6 8 10 12 40 45 50 55 60 65 70 75 80 ①piano1で演奏 ④残響レベル40で演奏 ②piano2で演奏 ⑤残響レベル100で演奏 ③piano3で演奏 　　　①教師ありNMF1(piano1のみ学習） 　　　②教師なしNMF (参考)教師ありNMF2(それぞれの環境で録音した基底を学習） 教師なしNMF 教師ありNMF 提案手法では，他の手法に比べて頑健性があることが分かる 提案手法では，教師ありNMFとほぼ同じ結果が得られた 実験２：複数の楽器を含む音楽信号を解析する実験 ピアノとヴァイオリンの２種類の楽器を用いて曲を解析 比較手法 確率スペクトル包絡の学習結果 ピアノ ヴァイオリン …教師ありNMF(ピアノとヴァイオリンを予め学習） カテゴリによって確率スペクトルが異なっている ⇒楽器カテゴリの特徴を確率スペクトル包絡によって捉えることが可能 使用したデータ：RWCデータベースより RWC-MDB-C-2001 No. 43: Sicilienne op.78 / Faure, Gabriel 正解データのピアノロール 確率スペクトル包絡から生成されたスペクトルの例 解析結果 2 4 6 8 10 12 40 50 60 70 80 90 100 提案手法 教師ありNMF バイオリン ピアノ Note Number Time 教師ありNMFと近い結果が得られた 生成された スペクトル オリジナル ピアノ（C4） ヴァイオリン（E4） オリジナルと似たスペクトルを生成できている ⇒教師ありNMFと同程度以上の性能を持つ 2010 Toru Nakashika, Ariki Laboratory, Kobe University.