2009年度卒業論文発表 CDNコンテンツサーバの動的負荷分散

Slides:



Advertisements
Similar presentations
NetAgent P2P検知技術 NetAgent.
Advertisements

早稲田大学大学院 理工学研究科情報科学専攻 後藤研究室 修士 焦 江霞
ストリーミング配信 惑星物理学研究室 修士2年 土屋 貴志.
Webプロキシサーバにおける 動的資源管理方式の提案と実装
動画像品質調整機能を組み込んだ プロキシキャッシングシステムの 実装と評価
最新ファイルの提供を保証する代理FTPサーバの開発
TCPコネクションの分割 によるスループットの向上
join NASS ~つながりあうネットワーク監視システム~
第2章 ネットサービスとその仕組み(前編) [近代科学社刊]
不特定多数の発信者を考慮した ストリーミングシステムの実現
ラウンドトリップタイムを指標とした 無線LAN のためのアクセスポイント選択手法
仮想ブロードキャストリンクを利用した 片方向通信路の透過的経路制御 藤枝 俊輔(慶應義塾大学)
神奈川大学大学院工学研究科 電気電子情報工学専攻
ネットワーク構成法 スケール 第6回 11月19日.
早稲田大学大学院 理工学研究科情報科学専攻 後藤滋樹研究室 1年 渡辺裕太
NEC-早大技術交流会 OpenFlowスイッチによる広域通信の効率的集約法
P2Pトラフィックの時間的な特性 2003年度卒業論文 宮田健太郎              舘 直芳.
モバイルエージェントの応用 概要 モーバイルエージェントの応用分野 AgentSpaceシステム エージェント移動 応用:ソフトウェアの配信
流星観測用送信機の 状態モニタシステム 発表者 永原 一輝 指導教官 前川 公男.
複数CPU間のための共有メモリ 小島 隆史(中央大学大学院理工学研究科 國井研究室)
PlanetLab における 効率的な近隣サーバ選択法
ノードの情報を動的に反映したオーバレイネットワークの構築
ノードの情報を動的に反映したオーバレイネットワークの構築
予備親探索機能を有した アプリケーションレベルマルチキャスト
ネットワークとノードの情報を利用したオーバレイネットワークの最適化
プロキシ協調型動画像配信システムの検討 大阪大学 若宮 直紀.
動画像ストリーミングサービスのための プロキシキャッシングシステムの 設計と実装および評価
Peer to Peer(P2P)の概要と 研究の進捗
B4向け研究紹介 MTAにおけるspamメール判別方法
モバイルP2Pを用いた携帯電話 動画配信手法の提案 第3回
IPv6アドレスによる RFIDシステム利用方式
通信トラヒックの相関構造を利用した通信品質の劣化検出
サーバ負荷分散におけるOpenFlowを用いた省電力法
MPIによる行列積計算 情報論理工学研究室 渡邉伊織 情報論理工学研究室 渡邉伊織です。
IPv6 ネットワークにおける エニーキャスト通信実現のための プロトコル設計と実装
大阪大学 大学院情報科学研究科 博士前期課程2年 宮原研究室 土居 聡
第17章 ドメインネームシステム.
修士研究計画 P2Pネットワークの最適化 kuro must: Survey ○テクニカルにチャレンジング
早稲田大学大学院 理工学研究科情報科学専攻 後藤研究室 修士1年 荒井 祐一
ユーザ毎にカスタマイズ可能な Webアプリケーションの 効率の良い実装方法
マルチホーミングを利用した Proxy Mobile IPv6の ハンドオーバー
学内環境におけるP2Pアプリケーションの構築
Internet広域分散協調サーチロボット の研究開発
オープンソース開発支援のための ソースコード及びメールの履歴対応表示システム
東京工業大学 情報理工学研究科 数理・計算科学専攻 千葉研究室 栗田 亮
IP over DVB-RCSの設計と実装
未使用メモリに着目した 複数ホストにまたがる 仮想マシンの高速化
2003年6月17日 早稲田大学大学院理工学研究科 情報科学専攻 修士2年 水野 宏樹
DNSクエリーパターンを用いたOSの推定
TCP制御フラグの解析による ネットワーク負荷の推測
仮想ネットワークを考慮した SoftIRQ制御によるCPU割当ての手法
オブジェクトストレージ(SDS)と ネットワークの仮想化技術(SDN)の 活用方法について
片方向通信路を含む ネットワークアーキテクチャに於ける 動的な仮想リンク制御機構の設計と実装
P2P ネットワーク上で 実時間ストリーミングを実現するための 分散制御プロトコルの提案
仮想環境を用いた 侵入検知システムの安全な構成法
Peer-to-Peerシステムにおける動的な木構造の生成による検索の高速化
福岡工業大学 情報工学部 情報工学科 種田研究室 于 聡
トラフィックプロファイラAGURIの設計と実装
ISO23950による分散検索の課題と その解決案に関する検討
ユビキタスコンピューティングの ための ハンドオーバー機能付きRMIの実装
クラスタリングを用いた ベイズ学習モデルを動的に更新する ソフトウェア障害検知手法
エイリアス関係を考慮した Javaプログラム用静的スライシングツール
異種セグメント端末による 分散型仮想LAN構築機構の設計と実装
特定ユーザーのみが利用可能な仮想プライベート・ネットワーク
黒宮 佑介(学籍番号: ) 政策・メディア研究科 修士課程2年 主査:村井 純、副査:斉藤 賢爾・中村 修・江崎 浩
MAUI Project 2009 インターネットにおける近接性
インセンティブにより自律ユーザに 高品質なオーバーレイマルチキャスト木を 構築させるプロトコルの提案
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
まさ 2003/06/12 卒論その後の進捗 まさ 2003/06/12.
Presentation transcript:

2009年度卒業論文発表 CDNコンテンツサーバの動的負荷分散 後藤研究室 1G06R115-4 高田和也 2010/2/1 卒業論文発表

研究の背景 P2Pトラフィックの割合が微減する一方で、動画などのリッチコンテンツ、ストリーミングサイトの トラフィックの割合が増大している   トラフィックの割合が増大している クライアント・サーバ型通信のトラヒックの増大 サーバの負荷が増大 サーバサイトのネットワーク負荷が増大 増えている現状を踏まえて、・・・・を実現できたらよいのではないかと考えました 2010/2/1 卒業論文発表

研究の目的 サーバ及びネットワークの負荷分散 CDNに着目! サーバの負荷に応じた動的な分散を行う ユーザのダウンロード速度向上 ネットワーク共有資源の効率化          CDNに着目!  サーバの負荷に応じた動的な分散を行う 2010/2/1 卒業論文発表

CDN (Contents Delivery Network ) オリジナル・コンテンツを もつサーバ 中継ノード:キャッシングや        リバースキャッシングを行う CDN 中継ノード 負荷の小さな サーバにアクセス 地理的に近い サーバにアクセス エンド・ユーザ 2010/2/1 卒業論文発表

サーバの負荷分散技術 DNSラウンドロビン ロードバランサ クライアントからのリクエストを順番に振り分ける 静的な負荷分散 導入が容易 導入コストが低い ロードバランサ 動的な負荷分散が可能 導入コストが高い サーバをネットワーク上に分散配置できないものもある 2010/2/1 卒業論文発表

提案手法 CDNで使える動的なサーバ負荷分散手法 DNSシステム 負荷の測定 DNS Balance のアドレスを返す機能 ( Ring server プロジェクトで実際に使われているもの) 負荷の測定 SNMP (Simple Network Management Protocol ) - ifTable ifOutOctets (送信した総オクテット数)  15 [s]毎に値を取得  → 差分をとる → 負荷の指標 2010/2/1 卒業論文発表

負荷分散の方法 2010/2/1 卒業論文発表 DNS Balance start SNMP情報取得 IPと負荷の対応表 start     ・表の読み込み     ・相対的負荷      をもとに、返す      アドレスを選択     ・名前解決      要求があれば      応答する    ・サーバの     情報を取得    ・相対的負荷の     値を算出    ・表へ出力   start ・IPアドレス ・相対的負荷 start DNS server 2010/2/1 卒業論文発表

相対的負荷の計算 n台のコンテンツサーバがあるとき、任意のサーバkの相対的負荷 を定義する 値の小さなサーバのIPアドレスを多く返す :一定時間の 総送信オクテット数  値の小さなサーバのIPアドレスを多く返す 2010/2/1 卒業論文発表

動的な負荷分散の評価実験 実験環境(仮想マシン) 実験に用いたデータ(コンテンツ) 既存手法 (DNSラウンドロビン) 提案手法 Flash Videoファイル (flv形式)  10MB, 14MB, 20MB wgetでファイルをダウンロード 2010/2/1 卒業論文発表

実験概要 1.負荷の偏りの無い状態 2.負荷に偏りのある状態 既存手法・提案手法ともに、ほぼ均等に分散 クライアント2台→固定IP(サーバ1)でアクセス クライアント3台→名前解決を行った結果をもとに                     サーバへアクセス 観測時間 1800 [s] TTL (Time to Live) =5 [s] 2010/2/1 卒業論文発表

実験の環境(仮想マシン) 2010/2/1 卒業論文発表 IPアドレス取得 提案手法のみ転送 Virtual switch DNS server (BIND 9) 192.168.1.102/24 IPアドレス取得 IPアドレスで 直接アクセス web/file server 192.168.1.201/24 得られたIPアドレスで アクセス 提案手法のみ転送 名前解決を行う DNS Balance sever 192.168.1.101/24 web/file server 192.168.1.202/24 Virtual switch DNS server bind9 に置いては named.conf にて サーバのドメイン名 www.example.com client 1,2 192.168.1.1~2/24 web/file server 192.168.1.203/24 client 3,4,5 192.168.1.3~5/24 2010/2/1 卒業論文発表

実験結果(2.負荷に偏りのある状態) 既存手法:ラウンドロビン 提案手法 2010/2/1 卒業論文発表

実験結果(2.負荷に偏りのある状態) クライアントへの各サーバのデータ送信量の割合 既存手法:ラウンドロビン 提案手法 名前解決による送信量 負荷の大きなサーバへの アクセス振り分けが減少 名前解決 名前解決 値:% 既存手法:ラウンドロビン 提案手法 2010/2/1 卒業論文発表

まとめ 結論 今後の課題 提案手法では、サーバの負荷を検出し、 動的な負荷分散が可能であることが示せた ネットワーク上にサーバを分散配置した環境 SNMPで取得できる値ならば負荷の指標にできる      他の負荷の指標での検証 2010/2/1 卒業論文発表

ご清聴ありがとうございました 2010/2/1 卒業論文発表

補足(1) Ring Server プロジェクト ベースサーバ それぞれが同一の内容を保持する ミラーサーバ ベースサーバの内容の一部を コピーしている Ring Serverプロジェクトは、インターネットなどの高速ネットワーク環境を対象として、大規模なソフトウェアライブラリとソフトウェアの分散共同開発の支援を行う共通基盤技術を研究開発し、実際に運用することによりネットワーク社会に貢献することを目的とします。 負荷分散技術 ・TENBIN (近いサーバ優先) ・DNS BALANCE        (空いてるサーバ優先) 2010/2/1 卒業論文発表

実験結果(1.負荷に偏りのない状態) 既存手法:ラウンドロビン 提案手法 2010/2/1 卒業論文発表

TTL (Time to Live) の問題 TTLが長い場合(分単位) DNS問い合わせ・応答トラフィックの増加 →先行研究にて解決済み 動的な負荷の分散が難しい 静的な分散と変わらない DNS問い合わせ・応答トラフィックの増加  →先行研究にて解決済み ※岸本 和之 『DNSラウンドロビンの動的レーコード更新によるサーバ負荷分散法』        早稲田大学大学院 基幹理工学研究科 2008年度修士論文, 2009. TTLを短くする 2010/2/1 卒業論文発表

TTLとネットワークトラフィックの関係 (シミュレーション) ネットワークトラフィックの平均値 (kbps) DNS問い合わせ頻度: 100件/秒 DNS問い合わせ頻度: 10件/秒 提案手法 TTL = 5秒 TTLが短くても, ストリーミングの トラフィックと比べると問題にならない 2010/2/1 卒業論文発表 DNSレコードのTTL (秒) 岸本さんの修論より引用

実験結果(2.負荷に偏りのある状態) クライアントへの各サーバのデータ送信量の割合 サーバ1 固定IPアドレス 名前解決 サーバ2 サーバ3 既存手法 (%) 38.0 22.2 19.6 20.2 提案手法 (%) 40.8 10.2 23.4 25.6 2010/2/1 卒業論文発表

既存技術:DNSラウンドロビン 2010/2/1 卒業論文発表 switch web/file server 192.168.1.201/24 client 1 192.168.1.1/24 DNS server switch web/file server 192.168.1.202/24 client 2 192.168.1.2/24 DNS server bind9 に置いては named.conf にて client 3 192.168.1.3/24 web/file server 192.168.1.203/24 2010/2/1 卒業論文発表