音声特徴比較システムの開発 Development of Voice Feature Comparison System.

Presentation on theme: "音声特徴比較システムの開発 Development of Voice Feature Comparison System."— Presentation transcript:

1 音声特徴比較システムの開発 Development of Voice Feature Comparison System

2 動機 班員全員が 音楽好き 数値解析 のコーディン グ をしたい フーリエ変換 を 活か せる 活か せる 歌 の 歌 の 上手さを科学 的に理解した い 4 つの動機

3 目的 音声特徴比較 システムの開発 サンプルデータ の 収集及び統計 結果を考 察 歌の上手さを 科学的に理解

4 開発環境 MCI とは？ Media Control Interface の略 音楽や動画を再 するための命令 群 Microsoft Visual C++ 2010 Express Edition

5 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

6 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

7 ボーカルキャンセリング L-R=L V +L B -(R V +R B ) =L V -R V +L B -R B =L V -L V +L B -R B =L B -R B L=L V +L B R=R V +R B L V =R V 定義 伴奏だけ 取り出せる！ ボーカルが中央に定位 していることを利用、 ボーカル音声を除去！

8 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

9 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

10 f ( t )=? 波の分解

11 f ( t )=sinωt+sin2ωt+sin3ωt 波の分解

12 フーリエ理論…全ての周期関数は単純なsin波cos波に分解可能 3つの定数が分かることによって波の特徴を解析できる 波形を周波数分布へ変換できる! 波形グラフを G( f ) ，周波数グラフを f ( t ) とすると …cos 波の各振幅 …sin 波の各振幅 … 基本周波数 1 に対する倍音周波数 フーリエ変換

13 f ( t ) 時間 スペクトル G( f ) 周波数 1 2 3 4 5 6 7 8 9 2.5 1.5 0.5 FT

14 DFT(離散フーリエ変換) …PC用のデジタルフーリエ変換 τ はサンプリング間隔 Ｎはデータ点数 フーリエ変換 ↓ デジタル化 離散フーリエ変換 ↓ 高速化 高速フーリエ変換

15 バタフライ演算 データ点数を2のN乗個とする →PCの仕様に合わせるため，周期を崩さないため。 ・データ点数が64個の場合 1 3 5 7

16 → 窓処理・・・波形 f ( t ) に窓関数をかけるこ と。 フーリエを利用する大前提は周期性 窓関数 … 初めと終りが最小，終始２点の中間が最大 窓処理

17 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

18 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

19 音声比較以前 ボーカル音声波形データの抽出 失敗 ボーカル音声スペクトルの抽出 ボーカル音声以外の 中央音源が少ないデータでは成功

20 音階判定 音階変化判定 声量判定 抑揚判定 得点を算出 標準偏差、偏差値 を利用 精度向上のために フィルタリング 比較アルゴリズム概要

21 標準偏差 標準偏差 散らばり具合を表す数 偏差値の計算に用いられる

22 平均 値を 変更 偏差値 母集団の平均か らどれだけ離れ ているかを示し た値

23 フィルタリングフィルタリング 解析したい周波数帯域の特定ができる 音声周波数帯150-2000[Hz] を通過させるフィルタを使用

24 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

25 システムの説明手順 1 2 3 4 ボーカルキャンセリン グ フーリエ変換 比較手法以前 比較手法

26 音程比較 音階判定 音階 取得 音階 取得 この音は「ド」だ！ 音程合致！ 録音音声スペクトルボーカル音声スペクトル

27 １秒 経過 音階差分判定 音階 取得 音階 取得 この音は「ド」だ！この音は「ラ」だ！ ｔ秒時のスペクトルｔ＋１秒時のスペクトル 「 ラ」－「ド」は正、このことを利用して… 音程比較！

28 声量判定 平均値で比較 マイク入力時のパワーの平均値で比 較する手法

29 変換 マイク入力時のパワーの変化の度合 いで比較する手法 抑揚判定

30 比較 結果 システム で採点 メンバー が採点 上位、下位 ほぼ一致 RankHumanSystem 1test23 2test21test04 3test01test00 4test04test21 5test13test15 6test00test20 7test07test13 8test09test22 9test12test17 10test06test08 11test16test12 12test18test03 13test03test11 14test11test02 15test08test10 16test14test07 17test05test01 18test17test09 19test19test06 20test22test18 21test02test14 22test10test19 23test15test05 24test20test16

31 考察 ボーカル音声を綺麗に消せる曲 は高得点になる傾向がある 中央音源に楽器音が含まれてい る ボーカルキャンセリングアルゴ リズムを改善する 比較アルゴリズムを改善する 解決策 原因

32 参考文献 C 言語ではじめる音のプログラミン グ WAV プログラミング C 言語で学ぶ音響処理 Windows サウンドプログラミング フーリエ変換 http://luckypool.hp.infoseek.co.jp/Fourie/

33 ご清聴ありがとうございました

34 VFCS Project 指導教員 仲道 嘉夫 先生 班長 本多 隼也 監督 桑原 悠太 フーリエ変換指導 西田 侑央 GUI コーディング 本多 隼也 システムコーディング 桑原 悠太 グラフィックス 木立 寛也 データ比較 浅子 卓亨 木立 寛也 西田 侑央 本多 隼也 資料作成 浅子 卓亨 桑原 悠太 木立 寛也 西田 侑央 本多 隼也 スペシャルサンクス フーリエ変換指導協力 石川 幸治 先生 比較手法検討協力 石川 幸治 先生 GUI 開発協力 菱沼 和弘 データ収集協力 安藤 駿 河野 杏那 西松 大輝 ・・・等他多数の方々 協力ありがとうございましたご清聴ありがとうございました

35 VFCS Project Wiki http://www29.atwiki.jp/vfcs/ 質疑応答のじかん

36 ここから先は予備

37 DFTとFFT NDFTFFT 242 4168 86424 1625664 321024160 644096384 12816384896 256655362048 5122621444608 1024104857610240 2048419430422528 40961677721649152 819267108864106496 16384268435456229376 327681073741824491520 6553642949672961048576

38 スコアブック と照らし合わ せて成功して いるか確認し た 原曲スペクトル－伴奏スペクトル ⇒ボーカル音声スペクトル ボーカル音声スペクトル抽出

39 ビブラート判定 New! リズム判定 New! 音階判定 音階変化判定 声量判定 抑揚判定 + 比較アルゴリズム改善

40 波形データ同士で比較 失敗 ビブラートは波形で検出するもの だが，波形の抽出ができていない ため，現状ではビブラートを扱う ことができない ビブラートに関して

41 原曲 ( 波形データ ) 周波数スペクトル 原曲波形と周波数スペクトルの両 方のアプローチにより精度向上 FFT ，ハートレー変換 を利用 ボーカルキャンセリグ改善

42 L B -R B ⇒伴奏 L=L V +L B R=R V +R B L V =R V 定義 L-(L B -R B )=L V +L B -L B +R B =L V +R B ⇒ 伴奏が残ってしまう ボーカル音声波形抽出失敗理由

43 データ形式 : 1 (1 = PCM) チャンネル数 : 1 ( モノラル ) サンプリング周波数 : 44100 [Hz] バイト数 / 秒 : 88200 [bytes/sec] バイト数 × チャンネル数 : 2 [bytes] ビット数 / サンプル : 16 [bits/sample] WAVEファイル仕様

44 声域とBPFの閾値 歌声の声域 : 約 70 ~ 1500 [Hz] 声域 BPF の閾値 : 150 ~ 2000 [Hz] BPF の閾値