NMF と基底モデルを用いた多重楽音解析 2-P-10 中鹿亘 ･ 滝口哲也 ･ 有木康雄 （神戸大） 概要 従来手法の問題点 提案手法 日本音響学会2010年秋季研究発表会 2-P-10 中鹿亘 ･ 滝口哲也 ･ 有木康雄 （神戸大） [1] P. Smaragdis, 2003 概要 非負値行列因子分解(NMF)による楽音解析[1] 現在最も主流になっている楽音解析手法 音楽音響信号のスペクトログラムをNMFによって分解 研究背景 音楽信号処理の高い関心 自動採譜技術の期待 近年，音楽コンテンツが爆発的に増加している NMF…非負行列Xを，２つの非負行列W，Hの積に分解するアルゴリズム 音楽アプリケーションなど，様々なアプリケーションへ応用可能 X W H 楽音解析 ≒自動採譜 音響信号(wav)から楽譜信号(midi)への変換 複数の音が混ざり合う信号から，個別の音を推定する逆問題 音楽信号のスペクトログラムをNMFで分解 観測スペクトル 基底行列 アクティビティ行列 発音時刻などの情報を含む 録音物(wavデータ)から楽譜(midiデータ)へ，自動的に変換する 基本周波数の情報を含む 従来手法の問題点 提案手法 ピアノ ドとミ だな 研究の動機 人間は楽器の特徴を知っている 問題点 ① ポリフォニー音楽を解析できないときがある 問題点 スペクトルが混在している スペクトルが周期的 (倍音成分のみ) ⇒音高が求まる 音高を正しく求められない ⇒音を聞き分けやすい そこで，基底行列が 既知であると過程 基底行列を予め学習しておく 提案手法の定式化 観測スペクトル 基底行列 アクティビティ行列 既知 更新ルール 提案手法による問題解決 提案手法の流れ 問題点 ② 基底の数を適切に選ぶ必要がある 問題 ポリフォニーを正しく解析できない 規定数=3 (正) 規定数=2 (誤) 500 1000 1500 2000 2500 3000 3500 4000 4500 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.5 1 1.5 2 2.5 3 3.5 4 5 STFT NMF 楽器情報DB 楽器情報を用いたNMF 事後処理 楽器情報の学習 楽音情報の推定 ⇒対応する基底ベクトルだけに反応させる ドの基底に対応するアクティビティ レ ミ ファ ソ ラ 解決 問題 正しい基底の数を与えるのは困難 ⇒解析時に用いる基底行列は既知 (基底の数を考慮する必要がない) 解決 既知基底 曲1 曲2 曲3 問題点 意図しない基底が表れる 評価実験 実験結果 客観評価による比較 主観評価による比較 推定結果の例 (１曲目) 従来手法１ （採譜の達人） 従来手法２ （HTC） 提案手法 1曲目 Under 0 % 78.6 % 95.6 % 2曲目 61.0 % 84.0 % Note number Time オリジナル 推定結果 実験手順 MIDIデータを録音 提案手法により音響信号を解析 元のMIDIデータと比較 正解率 ＝ 1 - (不正解ノート数/全ノート数) （音長が異なっても正解とみなす） 実験データ Sicilienne op. 78 (0:14) Crescent Serenade (0:24) (RWCデータベース) 提案手法 採譜の達人 HTC １曲目 ２曲目 強度 一定値 強度推定値 まとめ 従来のNMFによる手法の問題点を解決 解析精度が高い 非常に高速(1秒程度で解析) 実験条件 解析範囲…4 oct. (C2-B5) 基底…ピアノの楽器構造を予め学習 2010 Autumn Meeting of ASJ. (C) CS17, Kobe University.