仮想マシンとホスト間の通信に着目した 段階的なパケット集約によるNFV効率化手法

Presentation on theme: "仮想マシンとホスト間の通信に着目した 段階的なパケット集約によるNFV効率化手法"— Presentation transcript:

1 仮想マシンとホスト間の通信に着目した 段階的なパケット集約によるNFV効率化手法
田口 雄規†, 川島 龍太†, 中山 裕貴††, 林 經正††, 松尾 啓志† † 名古屋工業大学大学院 †† 株式会社ボスコ・テクノロジーズ ICM研究会 函館 2017年7月7日

2 NFVノード内でパケット集約 ホスト内オーバヘッドを削減
研究目的 ねらい 実ネットワークの要求を満たす高速サービスチェーン 課題 トラフィックの集中 NFV† ノードのパケット転送性能 本研究では.. 次ホップVNFが同一な 複数のショートパケット をカプセル化して集約 NFVノード内でパケット集約 ホスト内オーバヘッドを削減 † NFV: Network Functions Virtualization

3 アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining
サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

4 研究背景 Service Function Chaining SDN/NFVによって実現した、VNF†の論理的な連鎖
柔軟・迅速なサービス展開 Service Function Chain vFirewall vDPI vNAT VNF VNF VNF 物理ホスト vSwitch VM VM NFVノード 物理ネットワーク † VNF: Virtual Network Functions

5 高速にショートパケットを転送できる性能が求められる
サービスチェーンにおける課題 データセンタでは、制御用パケットが大量に発生  ショートパケットが全体の3割〜5割† VM ネットワーク全体の性能が低下 VM firewall VM DPI VM 上流VNFトラフィックが集中 firewall VM DPI VM firewall NAT 高負荷 外部ネットワーク VM VM firewall DPI 高速にショートパケットを転送できる性能が求められる † T. Benson et al., "Network Traffic Characteristics of Data Centers in the Wild " Proc. SIGCOMM 2010

6 高速パケット処理機構 vhost-user vhost-user 特徴１: カーネルバイパス 特徴２: パケットバッチング DPDK app
vSwitch VMカーネル VM VNF (DPIなど) 特徴１: カーネルバイパス カーネル空間を経由せず直接転送 vhost-user バックエンド port vNIC ユーザ空間 挿入 vhost-user ホストーVM間で 高速パケット転送を実現 packet queue （共有メモリ上） 取り出し カーネル空間 特徴２: パケットバッチング 複数パケットをまとめて処理 物理NIC

7 NFVノードの転送性能 VM形式のNFVノードのパケット転送性能† ショートパケットの転送性能が低い DPDK/vhost-user
を使用しても性能が不十分 40 GbE 理論値 Linuxカーネルを経由する方法では 40 GbE理論値 (約59 Mpps) の1/10程度 † R. Kawashima et al., "A Host-based Performance Comparison of 40G NFV Environments Focusing on Packet Processing Architectures and Virtual Switches" Proc. EWSDN 2016

8 アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining
サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

9 VNF間ロードバランス手法† 問題点 コントローラはトラフィックの割り当てやステートの管理が必要 既存のNFV環境への適応が困難
firewall firewall 新たなインスタンス 負荷小 firewall 負荷小 負荷増大 負荷小 問題点 コントローラはトラフィックの割り当てやステートの管理が必要 既存のNFV環境への適応が困難 監視システム、調停、マイグレーション等の大規模な枠組みが必要 †S. Rajagopalan et al., "Split/merge: System support for elastic execution in virtual middleboxes" Proc USENIX NSDI

10 NFVノード内でパケット集約 ホスト内オーバヘッドを削減
サービスチェーン性能向上の鍵 ショートパケットを効率的に転送 　パケット毎に発生するオーバヘッドを削減 ホスト内パケット数の削減 　VMーホスト間の転送オーバヘッドを削減 本研究では.. 次ホップVNFが同一な 複数のショートパケット をカプセル化して集約 NFVノード内でパケット集約 ホスト内オーバヘッドを削減

11 アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining
サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

12 次ホップVNFが同一な複数のショートパケットを
提案手法 次ホップVNFが同一な複数のショートパケットを 少数のラージパケットに集約 アーキテクチャ VM-ホスト間の I/O 部分でのパケット集約 専用パケットヘッダ・トンネリングプロトコル使用 実装 vhost-userのパケットバッチングを利用した低遅延の集約 集約可能なパケットグループの識別

13 集約 分解 提案手法 - アーキテクチャ ホスト 仮想環境 VXLAN等のトンネリングプロトコルが使用可能
vRouter vLB vFirewall 提案手法 （仮想I/O） 専用 ヘッダ 専用 ヘッダ ホスト 先頭から 対応 vSwitch 専用ヘッダのフォーマット VXLAN port version (8 bit) packet lentgth 1 (16 bit) type packet num packet length 2 … 専用 ヘッダ another port bridge VXLAN等のトンネリングプロトコルが使用可能 ホスト内で処理されるパケット数を削減

14 各NFVノードでの段階的なパケット集約により性能向上
提案手法 - 動作 ネットワーク上流部分でパケットが集中するサービスチェーン NFV ノード VM NFV ノード NFV ノード VM NFV ノード Edge NFV ノード VM NFV ノード NFV ノード VM (パケット数) (12) (4) (2) (1) 各NFVノードでの段階的なパケット集約により性能向上

15 実装 - 集約処理の実装 物理ホスト カプセル化の特徴 VM DPDK app VNF VMーホスト間の 転送部分で集約
vSwitch VNF カプセル化の特徴 port vhost-user バックエンド vNIC VMーホスト間の 転送部分で集約 VNFが送出した パケットをカプセル化 ユーザ空間 専用 ヘッダ vhost-userのパケットバッチングを利用 複数パケットが まとめて取り出される 取り出し カーネル空間 packet queue （共有メモリ上） 待ち時間のない低遅延なカプセル化 物理NIC

16 実装 - 分解処理の実装 物理ホスト デカプセル化の特徴 VM DPDK app VNF ヘッダの値を用いて 集約パケットの判断
vSwitch VNF port vhost-user バックエンド vNIC デカプセル化の特徴 ヘッダの値を用いて 集約パケットの判断 ユーザ空間 もし本手法のパケットなら デカプセル化 専用 ヘッダ 専用 ヘッダ VMーホスト間で分解VNFやハイパーバイザの特別な対応は不要 カーネル空間 packet queue （共有メモリ上） 物理NIC

17 集約可能なパケットグループの識別 専用テーブルを用いて次ホップVNFを識別 仮想環境 ホスト 集約グループテーブル Match Field
vSwitch Y X Y X X 専用 ヘッダ vFirewall 提案手法 (vhost-user) VXLAN port Y 専用 ヘッダ vRouter another port vLB 集約グループテーブル Match Field Next VNF Dst. Mac 52:54:00:11:11:AA X Dst. Mac 52:54:00:22:22:BB Y … VNF: X VNF: Y パケットごとに 次のVNFが異なる

18 グループテーブルの制御 パケットアウト機能を利用したエントリ操作 エントリ追加/削除 仮想環境 ホスト 集約グループテーブル
vSwitch vFirewall 提案手法 (vhost-user) VXLAN port vRouter another port vLB OpenFlow 集約グループテーブル エントリ追加/削除 Match Field Next VNF Dst. Mac 52:54:00:11:11:AA X Dst. Mac 52:54:00:22:22:BB Y … OFPT_PAKT_OUT グループテーブル 制御パケット SDN Controller

19 アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining
サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

20 性能評価 ベースライン性能 パケット数 スループット 遅延時間・ジッタ サービスチェーンでの性能 VNFの数に応じたスケーラビリティ

21 評価環境 (ベースライン) 評価の項目 評価構成 カプセル化によるパケット数の削減, スループット, 遅延 VNF
VM 評価の項目 カプセル化によるパケット数の削減, スループット, 遅延 評価構成 両方の物理ホスト: デフォルトvhost-user 両方の物理ホスト: 提案手法 計測用: 提案手法, 評価対象: デフォルトvhost-user VM Traffic generator (MoonGen) VNF 提案手法の処理 port 3 (vhost-user) port 4 (vhost-user) port 3 (vhost-user) port 4 (vhost-user) 計測用ホスト 評価対象ホスト デカプセル化 カプセル化 デカプセル化 カプセル化  「VNFサポート有」 vFirewall 専用 ヘッダ Open vSwitch Open vSwitch パケットを集約したまま 処理できるVNF port 1 (DPDK) port 2 (DPDK) port 1 (DPDK) port 2 (DPDK) 10Gb Ethernet

22 パケット数 (ベースライン) 集約によるパケット数削減 最大約8割のパケット数を削減 単位時間あたりのパケット数が増加するに伴い
送信レート [pps] 100 K 1 M 3 M 8 M 14.8 M (理論値) パケット集約比† [%] 100 99.6 75.7 33.2 20.8 (UDP, size 64 bytes) 単位時間あたりのパケット数が増加するに伴い 多数のパケットを同時にバッファからデキュー より多くのパケットを集約 最大約8割のパケット数を削減 † パケット集約比 =（実ネットワークに送信されるパケット数）／（パケット送信数の合計）

23 スループット (ベースライン) 75%以上性能が向上 パケット数削減により転送効率が改善 64-128B パケットで
パケットを集約したまま処理できるVNFなら 約175%性能が向上 パケット数削減により転送効率が改善

24 遅延・ジッタ (ベースライン) 約200 ナノ秒 遅延増加 約2 マイクロ秒 遅延減少 送信レート 1 Mpps 送信レート 3 Mpps
(集約比: 99%) 送信レート 3 Mpps (集約比: 75%) 約200 ナノ秒 遅延増加 約2 マイクロ秒 遅延減少 集約/分解にかかる遅延時間の 増加はきわめて少ない パケットバッファ効率改善で 遅延時間が減少

25 評価環境 (サービスチェーン) 図全体: VNF２台のサービスチェーン VM3の送信レートはVM1, 2の倍
host1 VM3 host3 MoonGen (Tx only) VXLAN port MoonGen (Tx only) VXLAN port VM3の送信レートはVM1, 2の倍 VNF1 host4 VNF2 host5 VXLAN port VXLAN port VXLAN port VXLAN port VXLAN port VXLAN port OVS OVS VXLAN port VM2 host2 VXLAN port MoonGen (Tx & Rx) 点線内: VNF１台のサービスチェーン

26 スループット (サービスチェーン) 170%以上性能が向上 3.2 Mppsでオーバーロード 370%以上性能が向上
VNF 1台のチェーン VNF 2台のチェーン 170%以上性能が向上 3.2 Mppsでオーバーロード パケットを集約したまま処理できるVNFなら 370%以上性能が向上 提案手法はパケットが集中する ネットワーク上流部分で効果的

27 アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining
サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

28 考察 遅延時間・ジッタ スループット サービスチェーンのパケット転送効率が向上 専用HWと比較して性能差あり (10 G理論値に到達せず)
ハイパーバイザで分解することで性能向上が予想される 遅延時間・ジッタ 低レート: 200 ns 遅延増加, 高レート: 2 us 遅延減少 低遅延を要求される通信での許容値: 100ms 程度 ジッタの悪化なし

29 まとめ・今後の課題 パケット集約によりNFVネットワーク効率化 今後の課題 VMーホスト間の転送部分にパケット集約/分解処理を追加
パケット数削減により, スループットが75%以上向上 レイテンシは許容範囲 遅延ジッタは悪化せず 今後の課題 集約可能パケット群の識別機能の実装・評価 集約可能パケットの割合とスループットの関係を調査