マルチテナントデータセンタにおけるブロードキャスト最適化の一検討 〇松尾 圭佑† 川島 龍太† 松尾 啓志† 2015/07/16 IN研究会 † 名古屋工業大学大学院

研究目標 研究目標 提案手法 仮想ネットワーク上でのブロードキャスト、マルチキャスト通信の実現 IPマルチキャストは使用しない 提案手法 ユニキャスト化したパケットにトポロジ情報を付加

発表の流れ 研究背景 関連研究 提案手法 性能評価 マルチテナント型データセンタ ブロードキャスト、マルチキャストのサービス例 IPマルチキャスト ユニキャスト変換手法 提案手法 性能評価

マルチテナント型データセンタ オーバレイ方式によるネットワーク仮想化 テナントごとに専用の仮想ネットワークを提供 仮想ネットワーク テナントA VM VM テナントC VM VM テナントB VM VM VM VM VM 物理ネットワーク

仮想ネットワーク上でのブロードキャストの問題点 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM 不要なパケットの発生による通信帯域の圧迫 物理スイッチ 仮想スイッチ VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender 物理マシン

既存のデータセンタの現状 Amazon VPC, Microsoft Azure IBM SoftLayer ブロードキャスト、マルチキャストを非サポート IBM SoftLayer ブロードキャスト、マルチキャストをサポート 非オーバレイ方式 VMware NSX, midokura midonet 必要に応じてパケットを複製し各宛先にユニキャストで送信

仮想ネットワーク上でのブロードキャストの用途 ブロードキャストが使えないと．．． ARPによるアドレス解決できない DHCPサーバが運用できない

仮想ネットワーク上でのマルチキャストの用途 ルーティングプロトコル OSPF 仮想ネットワークの大規模化 サーバやネットワーク機器のHigh Availability VRRP ルータの冗長化 ネームサービスシステム マルチキャストDNS

関連研究 特定テナントのVM群にのみBUMトラヒック配送 物理ネットワーク上でのIPマルチキャストの利用†1 Request/Reply型のプロトコル(ARPなど)の最適化†2 汎用ブロードキャストの最適化†3 †1 M. Mahalingam, D. Dutt, K. Duda, P. Agarwal, L. Kreeger, T. Sridhar, M. Bursell, and C. Wright, \Virtual eXtensible Local Area 　　　 　 Network (VXLAN): A Framework for Overlay-ing Virtualized Layer 2 Networks over Layer 3 Networks". RFC 7348, 2014. †2 ヴイエムウェア株式会社，”詳解 Vmware NSX “．株式会社インプレス, 2014． †3 伊勢幸一，浅羽登志也，高添修，小松康二，”SDN の実践技術 “．株式会社インプレス, 2013．

IPマルチキャスト VXLAN 仮想ネットワーク上でブロードキャスト IPマルチキャスト対応のルータやL3スイッチが必要 VM VM VM VM VM VM VM マルチキャストグループ1 VM VM VM VM VM VM VM VM VM マルチキャストグループ2 マルチキャストグループ3 IPマルチキャスト対応のルータやL3スイッチが必要 マルチキャストグループの構築がオーバヘッド

Request/Reply型プロトコルの最適化 OpenFlow Controller ARP DHCP… ARP Req. VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender 特定のプロトコルにしか対応できない

汎用ブロードキャストの最適化 常にコントローラと同期する必要 専用サーバ付近やネットワーク上流が混雑 sender 混雑 混雑 OFC : 専用サーバ 混雑 混雑 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender 常にコントローラと同期する必要 専用サーバ付近やネットワーク上流が混雑

提案手法 OpenFlow拡張によるブロードキャスト最適化 仮想スイッチのグループ化 ユニキャスト化 パケットにトポロジ情報を付与

提案手法の概要 トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送 sender Group1 OFC : 代表スイッチ トポロジ情報抽出 代表スイッチ宛 パケット作成 Group1 Group2 Group3 Group4 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送

仮想スイッチのグループ化 ネットワーク上の距離を考慮して分割 代表スイッチを選出 サーバラック単位 フローごとに変更可能 仮想スイッチの負荷分散 Group1 サーバ 5 サーバ1 サーバ2 サーバ3 サーバ4 サーバラック 代表スイッチ

トポロジ情報の取得 トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送 sender OFC : 代表スイッチ トポロジ情報取得 Group1 Group2 Group3 Group4 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送

dl_dst = ff:ff:ff:ff:ff:ff IPアドレス, MACアドレス, 送出ポート番号 トポロジ情報の取得 OpenFlowベンダ拡張メッセージを利用 ネットワークトポロジ 物理サーバのアドレス スイッチのポート情報 VMの所属サーバ、アドレス 所属テナント情報 dl_dst = ff:ff:ff:ff:ff:ff Actions = CONTROLLER Database OFPT_PACKET_IN OFPT_VENDOR OFC VM VM テナントID, 使用IPバージョン IPアドレス, MACアドレス, 送出ポート番号

代表スイッチにユニキャスト トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送 sender OFC : 代表スイッチ トポロジ情報取得 代表スイッチ宛 パケット作成 Group1 Group2 Group3 Group4 VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM sender トポロジ情報を埋め込んだパケット作成 各仮想スイッチは必要に応じてパケットの複製・転送

代表スイッチ宛パケットの構成 グループ内のトポロジ情報を含んだパケットの作成 物理ネットワーク用のヘッダでカプセル化 送信側VM 送信側仮想スイッチ 受信側VM オリジナルブロードキャスト Eth Payload 物理ネットワーク用のヘッダ Eth IP UDP Payload Network Topology Eth Payload

グループ内でのパケット配信 埋め込まれたトポロジ情報を解析して配送 P1 P2 2 Group1 1 3 Eth IP UDP 代表スイッチ 非代表スイッチ Group1 1 3 VM1 VM2 VM3 VM4 Eth IP UDP Network Topology Payload 自身のアドレスではない VM1のエントリ Total length Tenant ID Type IPP1 MACP1 IPVM1 MACVM1 Output port Num IPP2 MACP2 IPVM3 MACVM3 VM3のエントリ

メリット・デメリット メリット デメリット 特別なハードウェアを使用しない 送信側スイッチ付近やネットワーク上流部分の パケット数削減 送信側スイッチ付近やネットワーク上流部分の　　　パケット数削減 経路中のネットワーク機器がステートレス トポロジの変化に柔軟に対応 デメリット 転送ホップ数の増加

実装 仮想スイッチ コントローラ ネットワークの作成 Open vSwitch 2.3.1 Floodlight 0.90 Mininet 2.2.1

性能評価 専用サーバ方式と比較 評価環境 パケット転送遅延 ネットワークの各リンクにおけるパケット数 物理スイッチ …… H …… 物理スイッチ 1GbE network 1GbE network Floodlight Mininet OS CentOS 6.6 (2.6.32) CPU Intel® Core™ i3-530 2.93GHz Memory 16GB OS CentOS 7.0 (3.10.0) CPU Intel® Core™ i5-4400 3.10GHz Memory 16GB

評価トポロジ Br1 Br2 Br3 Br4 Group1 Group2 Group3 Floodlight Br Linux Bridge Open vSwitch Br1 Br2 Br3 Br4 Group1 Group2 Group3 H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 H11 H12 H13 H14 H15 H16

パケット転送遅延の評価 ARPの応答時間の比較 通常のブロードキャスト 専用サーバ方式、提案方式(宛先が代表スイッチ配下) Floodlight Br1 Br2 Br3 Br4 代表スイッチ 非代表スイッチ H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 H11 H12 H13 H14 H15 H16 Sender ARPの応答時間の比較 通常のブロードキャスト 経由オーバヘッドなし 専用サーバ方式、提案方式(宛先が代表スイッチ配下) コントローラ経由 提案方式(宛先が非代表スイッチ配下) コントローラ経由、代表スイッチを経由 [packets] …… …… [ms]

ネットワーク上流・送信側スイッチ付近のパケット数削減 各リンク別のパケット数の比較 Floodlight Br1 1 12 19 Br2 Br3 Br4 2 3 13 14 20 21 4 5 6 7 8 9 10 11 15 16 17 18 22 23 24 25 H1 H2 H3 H4 H5 H6 H7 H8 H9 H10 H11 H12 H13 H14 H15 H16 相対値 各ホストがランダムでブロードキャストを送出 各リンクのパケット数を比較 通常のブロードキャスト 専用サーバ方式 提案手法 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 ~ 25 ネットワーク上流・送信側スイッチ付近のパケット数削減 非宛先ホストにパケットは流れていない

まとめと今後の課題 まとめ ユニキャスト化したパケットにトポロジ情報を付加 今後の課題 仮想ネットワーク上でのマルチキャストへの対応 送信側スイッチ、ネットワーク上流部分でパケット数削減 今後の課題 仮想ネットワーク上でのマルチキャストへの対応 キャッシュ機能 同じフローならコントローラを経由せずに最適化 ARP等の特定のプロトコルと提案手法のハイブリッド機能