音高による音色変化に着目した音源同定に関する研究 東京理科大学理工学部情報科学科 山田研究室 北原 鉄朗 平成１３年度卒業研究

発表の流れ 音源同定とは 音高による音色変化に着目した音源同定 評価実験 まとめ

２．音源同定とは 楽器音の同定 ---入力された音は，piano? flute? … パターン認識の一分野 自動採譜・メディア検索などで有用だが， 従来研究は少ない． われわれは「音色変化の問題」 「未知楽器の問題」の２つの観点から研究 時間の制約から「未知楽器の問題」については省略

２．音源同定とは 処理の概要 音響信号 x1：パワー包絡線の傾きの中央値 x2：周波数重心　　　　　　　　など 特徴抽出

あらかじめ用意された 各楽器の音響信号と比較 ２．音源同定とは 処理の概要 音響信号 x1：パワー包絡線の傾きの中央値 x2：周波数重心　　　　　　　　など 特徴抽出 特徴空間 x2 あらかじめ用意された 各楽器の音響信号と比較 x1

あらかじめ用意された 各楽器の音響信号と比較 ２．音源同定とは 処理の概要 音響信号 x1：パワー包絡線の傾きの中央値 x2：周波数重心　　　　　　　　など 特徴抽出 特徴空間 x2 piano あらかじめ用意された 各楽器の音響信号と比較 x1

あらかじめ用意された 各楽器の音響信号と比較 ２．音源同定とは 処理の概要 音響信号 x1：パワー包絡線の傾きの中央値 x2：周波数重心　　　　　　　　など 特徴抽出 特徴空間 x2 piano あらかじめ用意された 各楽器の音響信号と比較 flute x1

あらかじめ用意された 各楽器の音響信号と比較 ２．音源同定とは 処理の概要 音響信号 x1：パワー包絡線の傾きの中央値 x2：周波数重心　　　　　　　　など 特徴抽出 特徴空間 x2 piano あらかじめ用意された 各楽器の音響信号と比較 flute x1 入力された楽器音はpiano

特徴変動の要因として 音高に着目 様々な要因により特徴量が 変動するため，同定が困難 特徴抽出 ２．音源同定とは 処理の概要 （実際には…） ２．音源同定とは 処理の概要　（実際には…） 音響信号 x1：パワー包絡線の傾きの中央値 x2：周波数重心　　　　　　　　など 特徴抽出 特徴空間 x2 様々な要因により特徴量が 変動するため，同定が困難 piano flute 特徴変動の要因として 音高に着目 x1

３．音高による音色変化に 着目した音源同定 同一楽器であっても，音高によって音色が変化 あらゆる音高に対して学習データを 十分に用意するのは困難． 有限の学習データから 様々な音高に対応できる手法が必要． 音色の変化の仕方は， 特徴量や楽器によって様々

３．音高による音色変化に着目した音源同定 課 題 ３．音高による音色変化に着目した音源同定 課 題 課題１ 特徴量によって音高による変化の仕方が異なることをどのように考慮するか． 課題２ 有限の学習データから，さまざまな 音高の特徴量をどのように推定するか．

３．音高による音色変化に着目した音源同定 課 題 ３．音高による音色変化に着目した音源同定 課 題 課題１ 特徴量によって音高による変化の仕方が 異なることをどのように考慮するか． 音高による変化の仕方で特徴量を３つに分類． 課題２ 有限の学習データから，さまざまな 音高の特徴量をどのように推定するか．

３．音高による音色変化に着目した音源同定 特徴量の３つの分類 無相関型特徴量 連続変化型特徴量 離散変化型特徴量

３．音高による音色変化に着目した音源同定 課 題 ３．音高による音色変化に着目した音源同定 課 題 課題１ 特徴量によって音高による変化の仕方が 異なることをどのように考慮するか． 音高による変化の仕方で特徴量を３つに分類 課題２ 有限の学習データから，さまざまな 音高の特徴量をどのように推定するか． 特徴量の分布を表現する基本周波数の関数を 導入　　　　（代表値関数・変動値関数）

３．音高による音色変化に着目した音源同定 代表値関数 各基本周波数で特徴量を代表する関数 （特徴量の分布の区分的線形近似） 無相関型特徴量 連続変化型特徴量 離散変化型特徴量

３．音高による音色変化に着目した音源同定 変動値関数 各基本周波数における代表値関数からの 散らばりの様子を表す関数 （標準偏差の定義に重みを導入） 変動値関数: 重み: xik : 特徴量 Fk : 学習データの基本周波数 i : 特徴量番号 μis(f) : 代表値関数 f : 入力データの基本周波数 s : カテゴリー k : 学習データ番号

３．音高による音色変化に着目」した音源同定 代表値関数・変動値関数の利用 各楽器に対する類似度: xik: 特徴量，μis(f) : 代表値関数，σis(f) : 変動値関数， f : 入力信号の基本周波数 各楽器の特徴空間上の重心や距離尺度を 入力信号の基本周波数に応じて変化させる手法

Piano, violin, flute, trumpet を階層的に同定 実楽器の単音データベースを使用 （データ総数： ９６７個） ３．評価実験（実楽器使用） 実 験 方 法 Piano, violin, flute, trumpet を階層的に同定 実楽器の単音データベースを使用 （データ総数：　９６７個） ランダムに2割のデータを学習データに 残りを入力データに割り当てる． 実験は比較実験とする． ・ 音高による変化を考慮しない場合／提案手法 実験を20回繰り返す． ・ 学習データにどれを割り当てるかが毎回変化．

Piano, violin, flute, trumpet を階層的に同定 実楽器の単音データベースを使用 （データ総数： ９６７個） ３．評価実験（実楽器使用） 実 験 方 法 Piano, violin, flute, trumpet を階層的に同定 実楽器の単音データベースを使用 （データ総数：　９６７個） ランダムに2割のデータを学習データに 残りを入力データに割り当てる． 実験は比較実験とする． ・ 音高による変化を考慮しない場合／提案手法 実験を20回繰り返す． ・ 学習データにどれを割り当てるかが毎回変化．

Piano, violin, flute, trumpet を階層的に同定 実楽器の単音データベースを使用 （データ総数： ９６７個） ３．評価実験（実楽器使用） 実 験 方 法 Piano, violin, flute, trumpet を階層的に同定 実楽器の単音データベースを使用 （データ総数：　９６７個） ランダムに2割のデータを学習データに 残りを入力データに割り当てる． 実験は比較実験とする． ・ 音高による変化を考慮しない場合／提案手法 実験を20回繰り返す． ・ 学習データにどれを割り当てるかが毎回変化．

３．評価実験（実楽器使用） 実 験 結 果 すべての楽器で 認識率向上 最大では 約10％の向上

MIDI音源から作成した単音データベースを 使用 （データ総数： ８５８個） Piano, classical guitar, violin, viola, flute, piccolo, trumpet, trombone を階層的に同定 MIDI音源から作成した単音データベースを 使用　　（データ総数：　８５８個） ランダムに2割のデータを学習データに 残りを入力データに割り当てる． 実験は比較実験とする． ・ 音高による変化を考慮しない場合／提案手法 実験を20回繰り返す． ・ 学習データにどれを割り当てるかが毎回変化．

MIDI音源から作成した単音データベースを 使用 （データ総数： ８５８個） Piano, classical guitar, violin, viola, flute, piccolo, trumpet, trombone を階層的に同定 MIDI音源から作成した単音データベースを 使用　　（データ総数：　８５８個） ランダムに2割のデータを学習データに 残りを入力データに割り当てる． 実験は比較実験とする． ・ 音高による変化を考慮しない場合／提案手法 実験を20回繰り返す． ・ 学習データにどれを割り当てるかが毎回変化．

MIDI音源から作成した単音データベースを 使用 （データ総数： ８５８個） Piano, classical guitar, violin, viola, flute, piccolo, trumpet, trombone を階層的に同定 MIDI音源から作成した単音データベースを 使用　　（データ総数：　８５８個） ランダムに2割のデータを学習データに 残りを入力データに割り当てる． 実験は比較実験とする． ・ 音高による変化を考慮しない場合／提案手法 実験を20回繰り返す． ・ 学習データにどれを割り当てるかが毎回変化．

３．評価実験（実楽器使用） 実 験 結 果

４．ま と め 音高による音色変化に着目 ⇒特徴量の分類と関数近似により， 音高による変化に応じて特徴空間を変化 ⇒性能向上に貢献 ４．ま と め 音高による音色変化に着目 ⇒特徴量の分類と関数近似により， 　音高による変化に応じて特徴空間を変化 ⇒性能向上に貢献 今後の課題 ‐特徴量の自動分類 ‐様々な奏法・楽器への対応 ‐混合音への適用