ネットワーク構成法 スケール 第6回 11月19日
Web Service 個人のHPから、大規模な情報提供 どうやってスケールさせるか! キャッシュを用いる Serverの負荷分散 Proxy Server Transparent キャッシュ CDS Serverの負荷分散 サーバのクラスタ化 サーバの地理的分散化
キャッシュ 通常のWeb Serviceには、いくつかのキャッシュが存在する Client側のキャッシュ 組織レベルでのキャッシュ: Proxy Network上でのキャッシュ: トランスペアレント キャッシュ
Transparent Cash
キャッシュの問題点 UP to Dateな情報の提供 CGIなどのプログラム データベースなどへのアクセス
Streaming Service もともとキャッシュできるようなデータではない Feeder と Distributor Real Server Encoder, Server, Splitter Multicast
CDS Contents Delivery Service Akamai Acceria コンテンツ配信のためのキャッシュ網 Streaming のスプリッタ
Web Serverのスケール Single Server Multi Server Memoryの増強や、Pre Forkの数の増加 クラスタ化 地理的分散化
オリンピックの特殊性 世界的なイベントである。 膨大なアクセス数 IBMとしての実験(サービス?。。) 世界中からアクセスされる Hit rate: 100,000,000 per day = 1157 per second IBMとしての実験(サービス?。。) アトランタオリンピック USオープンテニス
技術的な要件 世界中からのアクセスに対して、良好なレスポンスを返す 膨大なアクセス数をさばく
アクセス予測 オリンピックホームページ アクセス予測 400 Pages / Language最初のページ 500 Pages (400 new images) 毎日の追加分 アクセス予測 100 Million hits / day = 1157 per second 20% from Japan 30% from Europe 50% from US(Australia include)
世界中からのアクセスの処理 世界数箇所にサーバを分散配置 各所に設置されたサーバの処理能力の向上 アクセスを分散する仕組み 複数サーバでのコンテンツの透過性の確保 各所に設置されたサーバの処理能力の向上 Multi NodeシステムであるSP2の利用 Multi Nodeへの負荷分散の仕組み
アーキテクチャの概要 (Atlantaの場合)
各地のサーバ 長野オリンピックのサーバ設置場所 IBM RS/6000 SP2 Net Dispatch (TCP Router) 東京、アメリカ3箇所 IBM RS/6000 SP2 30 Node (at main server) 40 Gigabytes Net Dispatch (TCP Router)
Internet 東京地区 Info98 長野地区 国内のネットワーク構成 T3 Backbone Open net HTTP/Notes NSPIXP-2 Internet 長野地区
Net Dispatch(TCP Router) SP2のMulti Nodeへの負荷分散機構 TCP Sessionレベルでルーティングする Node 1 Node 2 HTTP Request Net Dispt Node 3 Response Node 4 …. Node Load Info. Node N TCP Session Nodes Map Table
コンテンツの内容の透過性 各地に設置されたサーバ間 および サーバ内のNode間 で すべて同様の内容を保持する必要がある。 各地に設置されたサーバ間 および サーバ内のNode間 で すべて同様の内容を保持する必要がある。 すべてのサーバおよびすべてのNodeで参照されるディスクは、DFSによって共有されている。 With DFS client-side caching, only 5% of the 12 - 15 million hits per day required information to be retrieved directly from a DFS server. (Transarc Home Page said)
More Detail Configuration Routing Info. Hacked Gated Node 1 Node 2 HTTP Request Net Dispt Node 3 Response Node 4 …. Node Load Info. Node N TCP Session Nodes Map Table
More Detail Info (2) Internet Node 15 …. CISCO Node 2 Net Dispt Node 3
世界各地のサーバへの負荷分散 結論: Single IP Address architecture サーバ内のNodeは、TCP Routerのアドレスによってアクセスされる。 世界各地に設置されたサーバが同じIPアドレスでサービスを提供する。 ネットワーク距離(経路制御的距離)の近いサーバがアクセスできる。
Single IP Address Arch. Open Net Links MAE-EAST NSPIXP-2 MAE-WEST
DNS hack
クラスタ サーバ
L4 Switch