コマンドパイプラインによる マルチメディアストリーム処理 指導教官　岡部寿男 助教授 旧池田研究室 笠松健一 平成１４年２月１５日

研究の背景と目的 インターネットでマルチメディア伝送を個人でもできる 電話やビデオ放送のソフトウェアが急速に普及 デジタル家電やAV機器を対象とするネットワーク技術の研究 独自方式→IPへ統合の方向 例えばIPスピーカ、IPマイクの登場 このようなネットワーク環境の変化に既存のソフトウェアでは各ソフトウェア毎に逐一対応する必要 再利用性の高い部品を組み合わせることにより処理を行うシステムを提案

提案するシステム コマンドパイプラインにより処理 ＵＮＩＸにはパイプでプログラムを連携し、 様々な処理を行う考え方が存在 →マルチメディアストリーム処理に適用 機能毎にプログラムを実装し、パイプで連携 パイプラインの例 $ audiorecord　|　udpsend 130.54.22.100 Audiorecord と　udpsend マイクで音声を取り込む データを130.54.22.100へ送信 マイクで取り込んだ音声を130.54.22.100へ送信

設計と実装 実装したプログラムと接続関係 パイプによる接続 ソケットによる接続 rtpenc RTPヘッダを 付加 udpsend UDP/IPで送信 audiocapt 音声を録音 fecenc 前方誤り訂正 の符号を付加 jpegcapt 映像の取込み ntspcall 電話の発信 パイプによる接続 IPネットワーク ソケットによる接続 ntspwait 電話の着信 jpegplay 映像を表示 fecdec 前方誤り訂正 を行う rtpdec RTPヘッダを 削除 udprecv UDP/IPで受信 audioplay 音声を再生

実現したアプリケーションの例 ビデオオンデマンド HostA jpegcapt 映像の取込み fecenc 前方誤り訂正 の符号を付加 rtpenc RTPヘッダを付加 HostB:130.54.22.100 IP ネットワーク udpsend UDP/IPで送信 HostA$ udpsend 130.54.22.100< video.jpgs video.jpgs HostA$ jpegcapt | fecenc | rtpenc >video.jpgs 図と、コマンドライン＝＞　アニメーションで押す。 RTPは無し。FECは有り。 udprecv UDP/IPで受信 rtpdec RTPヘッダを 削除 fecdec 前方誤り訂正 を行う jpegplay 映像を表示 HostB$ udprecv | rtpdec | fecdec | jpegplay

実現したアプリケーションの例 電話 発信側ホスト audioplay 音声を再生 rtpdec RTPヘッダを削除 audiocapt 音声を録音 rtpenc RTPヘッダを付加 ntspcall 電話の発信 IPネットワーク audioplay 音声を再生 rtpdec RTPヘッダを削除 ntspwait 電話の着信 audiocapt 音声を録音 rtpenc RTPヘッダを付加 受信側ホスト

まとめと今後の課題 まとめ 今後の課題 機能毎に実装したプログラムをパイプで連携し、さまざまな処理を行うシステムを提案 提案するシステムの設計と実装 IPネットワークを利用した様々な処理を実現 今後の課題 機能の追加 音声ミキサー スーパーインポーズ オープンソースとして公開

実現したアプリケーションの例 電話 ホストBが着信待ちをする ホストAがホストBへ発信する ntspwait 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc” ホストAがホストBへ発信する ntspcall 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc”

実現したアプリケーションの例 電話と音声放送の組み合わせ ホストBが着信待ちをする ntspwait 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc” ホストAがホストBへ発信する ntspcall 10.0.0.1 10000 “rtpdec | audioplay” “audiocapt | rtpenc”　

既存のプログラム(SSH)と連携 ホストAでマイクから取り込んだ音声ストリームをホストBへ暗号化して伝送し、ホストBで再生する ホストＡで ssh 10.0.0.2 audiocapt | audioplay

IPネットワークを利用した 無線マイク 無線LANを用いると、無線区間を含むIPネットワークを構築できる

関連研究 (マイクロソフト社製の インターネットを利用するアプリケーション) 関連研究 (マイクロソフト社製の インターネットを利用するアプリケーション) NetMeetingで伝送する音声をMediaEncoderで放送することはできない 電話アプリケーションNetMeeting 放送アプリケーションMediaEncoder 実現にはプログラミング言語の知識が必要

提案するシステムが 想定するアプリケーション 提案するシステムが備える機能の選定 実際のアプリケーションを想定し、要求機能を考察 機能毎にプログラムを実装 ビデオオンデマンド 映像の取り込み、保存、読込み ユニキャスト伝送、映像の表示 実時間放送 映像とその映像に同期する音声の取り込み、実時間伝送 マルチキャスト伝送、映像と音声の同期再生 電話 電話セッションの確立、双方向に音声ストリームの伝送

研究の背景(1/2) 情報通信をIPを利用できる機会の増加 マルチメディアデータの圧縮技術が進歩(MPEG) データ通信技術の進歩(IEEE802,GbE,無線LAN) インターネットで文字や静止画に加えて音声や映像を伝送 インターネットに家庭や街角で常時接続