インターネットにおける オーケストラ演奏同期機構の 設計と実装

Presentation on theme: "インターネットにおける オーケストラ演奏同期機構の 設計と実装"— Presentation transcript:

1 インターネットにおける オーケストラ演奏同期機構の 設計と実装
環境情報学部4年　久松剛(ringo) 親：uhyoさん サブ親：pierreさん

2 実現したいもの(最終目標) 複数の演奏者がインターネット上でコラボレーションを行うことができる環境の構築
ミキサーなどに出力するため、それぞれの音声ストリームを同期させる必要性 演奏者の環境の差異吸収 異なる楽器による収録環境の違い タイミング信号の送信 演奏のテンポやタイミングを合わせる 他の演奏者との音を合成したものをfeed backとして各演奏者に返す 和音を調整するため PC PC PC PC タイミング信号 Internet 演奏データ フィードバック PC

3 定義 オーケストラに特化するとは？ コンサートホール内では他の演奏者の演奏ではなく、指揮者の指揮に合わせて演奏を行う
壁や天井の反響による音声の遅延 他の演奏者の音を聴きながら演奏できる音声の許容遅延は50ms〜80msという要求値 演奏者がタイミング信号を受けて演奏、他者の演奏が80ms以内に聴くことができれば演奏可能 複数拠点からの音声をミキシングする必要性 コンサートホールにある複数のマイクがネットワーク上に散らばったイメージ ミキサーに出力する必要性 　→音声の同期 　　タイミングのズレが音のズレとなって現れる

4 想定する環境 ネットワークに関して ネットワーク伝送遅延が転送機器の内部処理、同期処理、ジッタを含めて50ms〜80ms以内
遅延のジッタが一定 タイムコードにNTPを一部用いる場合に影響

5 卒論で対象とする部分 複数ストリームの同期精度向上 演奏者ごとの収録環境の差異吸収 編集を意識した同期機構 同期処理速度
MIDIのような秒以下での同期 演奏者ごとの収録環境の差異吸収 収録機器の違い シンセサイザーとマイク入力など ネットワーク環境の違い RTT、ジッタなど 編集を意識した同期機構 後から音声データを追加編集可能 絶対時間による同期 MIDIにおけるSMPTE 同期処理速度 PC PC PC PC フィードバック 演奏データ Internet タイミング信号 PC

6 関連研究(1/2) RTP(Real-time Transport Protocol) DVTSなど動画／音声転送システムで利用
タイムスタンプはNTPより生成 NTP 64bit中の真ん中32bitを使用 時間／分／秒の単位 より細かな同期を取ることが必要

7 関連研究(2/2) MIDIにおけるSMPTEタイムコード
MTR(Multi Track Recorder)と シーケンサーの同期を取るために用いられる SMPTE to MIDIコンバーターでMIDI情報に変換可能 MIDIコンバーターでテンポ情報を生成 絶対時間情報で管理 時間／分／秒／フレーム フレーム：1秒間の辺りのフレーム数は24, 25, 29.97, 30 後からデータを追加しても曲の最初から再生・同期の確認をする必要がない MIDIのように編集が容易な、秒以下の精度での同期が必要

8 関連研究(3/3) デジタルシネマプロジェクト 香港、大手町からの映像を藤沢で編集、ロサンゼルスへと転送
映画のワンシーンをロサンゼルスで監督を行う DV(NTSC)の29.97fpsを利用し、RTPと併用して時／分／秒／フレームで同期 収録用途に使える同期システムの構築

9 設計(1/4) マイルストーン 音声データ送信プログラム 音声データ受信、同期プログラム タイミングデータの送信プログラム
DVTSに用いられる音声送信の拡張として作成 音声データ受信、同期プログラム DVTSに用いられる音声受信の拡張として作成 タイミングデータの送信プログラム (余力があれば…ソフトウェアミキサーとの連携)

10 設計(2/4) 音声データ送信プログラム IEEE1394経由でPCM形式の音声データを取得
将来的にはs/pdif(Sony/Philips Digital Interface)から音声データを取得 一般的な収録機器に対応するため NTPから取得できる時/分/秒に加え、秒以下の単位を記録する 単位の候補としてサンプリングレートがある サンプリングレート*1/1000として扱うのが良いのか、独自にタイムコードを作るのが良いのかは要検討

11 設計(3/4) 音声データ受信, 同期プログラム 複数箇所から送られてきたデータを同期, サウンドデバイスに出力
ネットワーク伝送遅延、ゆらぎ、転送機器・収録環境の遅延監視と吸収 音声データ送信プログラム、タイミングデータ送信プログラムとの連携による遅延監視

12 設計(4/4) タイミングデータの送信プログラム 音声データ受信者から各演奏者に向けて送信され、演奏のタイミング・リズムの基準になる
ネットワークのRTT測定にも利用される 受信側から演奏者へ送信された際のパケットのタイムスタンプ、演奏者から受信側へのタイムスタンプとの差分により算出

13 実装 MacOSX 10.2.6 Carbon(C言語) Project Builder CoreAudio SDK
他のプラットフォームへの移植を考えると汎用性が高い Project Builder CoreAudio SDK サウンドデバイスからの入力を得るため

14 評価指針 オーケストラに特化した形での性能評価 複数の異なる場所から音声を転送した際の同期精度の計測 演奏者の収録環境による差異の吸収
処理時間の計測 転送、feed backにかかるそれぞれの時間を圧迫しないため