仮想マシンとホスト間の通信に着目した 段階的なパケット集約によるNFV効率化手法

Slides:



Advertisements
Similar presentations
研究目標 研究目標 提案手法 仮想ネットワーク上でのブロードキャスト、マルチキャスト通信の実現
Advertisements

Linuxを組み込んだマイコンによる 遠隔監視システムの開発
Webプロキシサーバにおける 動的資源管理方式の提案と実装
最新ファイルの提供を保証する代理FTPサーバの開発
榮樂 英樹 LilyVM と仮想化技術 榮樂 英樹
クラウド上の仮想マシンの安全なリモート監視機構
クラウドにおける ネストした仮想化を用いた 安全な帯域外リモート管理
IaaS 仮想マシン(VM)をネットワーク経由で提供 負荷に応じてVM数や性能を変更できる ハードウェアの導入・管理・維持コストの削減
第4章 Internet Address.
仮想ブロードキャストリンクを利用した 片方向通信路の透過的経路制御 藤枝 俊輔(慶應義塾大学)
スケールフリーネットワークにおける 経路制御のためのフラッディング手法の提案と評価
中村孝介(九州工業大学) 光来健一(九州工業大学/JST CREST)
KVMにおけるIDSオフロードのための仮想マシン監視機構
神奈川大学大学院工学研究科 電気電子情報工学専攻
研究背景 クラウドコンピューティングサービスの普及 マルチテナント方式を採用 データセンタの需要が増加
TCPデータ通信との公平性を考慮した 輻輳適応能力を有する MPEG動画像通信のための品質調整機構
発表の流れ 研究背景 マルチテナント型データセンタ 関連研究 IPマルチキャスト ユニキャスト変換手法 提案手法 性能評価.
研究背景 クラウドコンピューティングサービスの普及 ユーザ数の増加に伴う問題 マルチテナント方式の採用 データセンタの需要が増加
クラウドにおけるアプリケーション単位での VM構成の動的最適化
帯域外リモート管理を継続可能な マイグレーション手法
大きな仮想マシンの 複数ホストへのマイグレーション
ネストした仮想化を用いた VMの安全な帯域外リモート管理
コンテンツ配信 エンコード (符号化) CBR (Constant Bit Rate) VBR (Variable Bit Rate)
予備親探索機能を有した アプリケーションレベルマルチキャスト
クラウドの内部攻撃者に対する安全なリモートVM監視機構
サーバ負荷分散におけるOpenFlowを用いた省電力法
型付きアセンブリ言語を用いた安全なカーネル拡張
Ibaraki Univ. Dept of Electrical & Electronic Eng.
大阪大学 大学院情報科学研究科 博士前期課程2年 宮原研究室 土居 聡
過負荷時の分散ソフトウェアの 性能劣化を改善する スケジューリングの提案
分散IDSの実行環境の分離 による安全性の向上
Vector 4 = [Vector 3, packet_size]
VM専用仮想メモリとの連携による VMマイグレーションの高速化
IaaS型クラウドにおける インスタンス構成の動的最適化手法
リモートホストの異常を検知するための GPUとの直接通信機構
仮想メモリを用いた VMマイグレーションの高速化
複数ホストに分割されたメモリを用いる仮想マシンの監視機構
ネストしたVMを用いた 仮想化システムの高速なソフトウェア若化
仮想計算機を用いたサーバ統合に おける高速なリブートリカバリ
クラウドにおけるIntel SGXを用いた VMの安全な監視機構
DPDKの処理モデルに基づく NFVノード可視化機構の開発 ー負荷計測手法の一検討ー
東京工業大学 情報理工学研究科 数理・計算科学専攻 千葉研究室 栗田 亮
クラウドにおけるVMリダイレクト攻撃を防ぐためのリモート管理機構
クラウドにおけるVM内コンテナを用いた 自動障害復旧システムの開発
未使用メモリに着目した 複数ホストにまたがる 仮想マシンの高速化
クラウドにおけるVM内コンテナを用いた 低コストで迅速な自動障害復旧
DNSクエリーパターンを用いたOSの推定
Intel SGXを用いた仮想マシンの 安全な監視機構
軽量な仮想マシンを用いたIoT機器の安全な監視
複数ホストにまたがって動作する仮想マシンの障害対策
仮想ネットワークを考慮した SoftIRQ制御によるCPU割当ての手法
VMMのソフトウェア若化を考慮した クラスタ性能の比較
[招待講演] オープンソース 仮想スイッチの実装に見る DPDKの使用方法と 性能への影響
片方向通信路を含む ネットワークアーキテクチャに於ける 動的な仮想リンク制御機構の設計と実装
ネットワークをシンプルにする エンタープライズ NFV
VMが利用可能なCPU数の変化に対応した 並列アプリケーション実行の最適化
仮想環境を用いた 侵入検知システムの安全な構成法
仮想マシンの監視を継続可能なマイグレーション機構
仮想化システムのソフトウェア若化のための軽量なVMマイグレーション
仮想マシンに対する 高いサービス可用性を実現する パケットフィルタリング
VMリダイレクト攻撃を防ぐための 安全なリモート管理機構
ゼロコピー・マイグレーションを 用いた軽量なソフトウェア若化手法
仮想化システムの 軽量なソフトウェア若化のための ゼロコピー・マイグレーション
「クリーンな仮想化」 と要素独立進化型の 仮想化ノード・アーキテクチャ
強制パススルー機構を用いた VMの安全な帯域外リモート管理
異種セグメント端末による 分散型仮想LAN構築機構の設計と実装
IPmigrate:複数ホストに分割されたVMの マイグレーション手法
複数ホストにまたがるVMの 高速かつ柔軟な 部分マイグレーション
特定ユーザーのみが利用可能な仮想プライベート・ネットワーク
強制パススルー機構を用いた VMの安全な帯域外リモート管理
Presentation transcript:

仮想マシンとホスト間の通信に着目した 段階的なパケット集約によるNFV効率化手法 田口 雄規†, 川島 龍太†, 中山 裕貴††, 林 經正††, 松尾 啓志† † 名古屋工業大学大学院 †† 株式会社ボスコ・テクノロジーズ ICM研究会 函館 2017年7月7日

NFVノード内でパケット集約 ホスト内オーバヘッドを削減 研究目的 ねらい 実ネットワークの要求を満たす高速サービスチェーン 課題 トラフィックの集中 NFV† ノードのパケット転送性能 本研究では.. 次ホップVNFが同一な 複数のショートパケット をカプセル化して集約 NFVノード内でパケット集約 ホスト内オーバヘッドを削減 † NFV: Network Functions Virtualization

アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

研究背景 Service Function Chaining SDN/NFVによって実現した、VNF†の論理的な連鎖 柔軟・迅速なサービス展開 Service Function Chain vFirewall vDPI vNAT VNF VNF VNF 物理ホスト vSwitch VM VM NFVノード 物理ネットワーク † VNF: Virtual Network Functions

高速にショートパケットを転送できる性能が求められる サービスチェーンにおける課題 データセンタでは、制御用パケットが大量に発生  ショートパケットが全体の3割〜5割† VM ネットワーク全体の性能が低下 VM firewall VM DPI VM 上流VNFトラフィックが集中 firewall VM DPI VM firewall NAT 高負荷 外部ネットワーク VM VM firewall DPI 高速にショートパケットを転送できる性能が求められる † T. Benson et al., "Network Traffic Characteristics of Data Centers in the Wild " Proc. SIGCOMM 2010

高速パケット処理機構 vhost-user vhost-user 特徴1: カーネルバイパス 特徴2: パケットバッチング DPDK app vSwitch VMカーネル VM VNF (DPIなど) 特徴1: カーネルバイパス カーネル空間を経由せず直接転送 vhost-user バックエンド port vNIC ユーザ空間 挿入 vhost-user ホストーVM間で 高速パケット転送を実現 packet queue (共有メモリ上) 取り出し カーネル空間 特徴2: パケットバッチング 複数パケットをまとめて処理 物理NIC

NFVノードの転送性能 VM形式のNFVノードのパケット転送性能† ショートパケットの転送性能が低い DPDK/vhost-user を使用しても性能が不十分 40 GbE 理論値 Linuxカーネルを経由する方法では 40 GbE理論値 (約59 Mpps) の1/10程度 † R. Kawashima et al., "A Host-based Performance Comparison of 40G NFV Environments Focusing on Packet Processing Architectures and Virtual Switches" Proc. EWSDN 2016

アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

VNF間ロードバランス手法† 問題点 コントローラはトラフィックの割り当てやステートの管理が必要 既存のNFV環境への適応が困難 firewall firewall 新たなインスタンス 負荷小 firewall 負荷小 負荷増大 負荷小 問題点 コントローラはトラフィックの割り当てやステートの管理が必要 既存のNFV環境への適応が困難 監視システム、調停、マイグレーション等の大規模な枠組みが必要 †S. Rajagopalan et al., "Split/merge: System support for elastic execution in virtual middleboxes" Proc. 2013 USENIX NSDI

NFVノード内でパケット集約 ホスト内オーバヘッドを削減 サービスチェーン性能向上の鍵 ショートパケットを効率的に転送  パケット毎に発生するオーバヘッドを削減 ホスト内パケット数の削減  VMーホスト間の転送オーバヘッドを削減 本研究では.. 次ホップVNFが同一な 複数のショートパケット をカプセル化して集約 NFVノード内でパケット集約 ホスト内オーバヘッドを削減

アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

次ホップVNFが同一な複数のショートパケットを 提案手法 次ホップVNFが同一な複数のショートパケットを 少数のラージパケットに集約 アーキテクチャ VM-ホスト間の I/O 部分でのパケット集約 専用パケットヘッダ・トンネリングプロトコル使用 実装 vhost-userのパケットバッチングを利用した低遅延の集約 集約可能なパケットグループの識別

集約 分解 提案手法 - アーキテクチャ ホスト 仮想環境 VXLAN等のトンネリングプロトコルが使用可能 vRouter vLB vFirewall 提案手法 (仮想I/O) 専用 ヘッダ 専用 ヘッダ ホスト 先頭から 対応 vSwitch 専用ヘッダのフォーマット VXLAN port version (8 bit) packet lentgth 1 (16 bit) type packet num packet length 2 … 専用 ヘッダ another port bridge VXLAN等のトンネリングプロトコルが使用可能 ホスト内で処理されるパケット数を削減

各NFVノードでの段階的なパケット集約により性能向上 提案手法 - 動作 ネットワーク上流部分でパケットが集中するサービスチェーン NFV ノード VM NFV ノード NFV ノード VM NFV ノード Edge NFV ノード VM NFV ノード NFV ノード VM (パケット数) (12) (4) (2) (1) 各NFVノードでの段階的なパケット集約により性能向上

実装 - 集約処理の実装 物理ホスト カプセル化の特徴 VM DPDK app VNF VMーホスト間の 転送部分で集約 vSwitch VNF カプセル化の特徴 port vhost-user バックエンド vNIC VMーホスト間の 転送部分で集約 VNFが送出した パケットをカプセル化 ユーザ空間 専用 ヘッダ vhost-userのパケットバッチングを利用 複数パケットが まとめて取り出される 取り出し カーネル空間 packet queue (共有メモリ上) 待ち時間のない低遅延なカプセル化 物理NIC

実装 - 分解処理の実装 物理ホスト デカプセル化の特徴 VM DPDK app VNF ヘッダの値を用いて 集約パケットの判断 vSwitch VNF port vhost-user バックエンド vNIC デカプセル化の特徴 ヘッダの値を用いて 集約パケットの判断 ユーザ空間 もし本手法のパケットなら デカプセル化 専用 ヘッダ 専用 ヘッダ VMーホスト間で分解VNFやハイパーバイザの特別な対応は不要 カーネル空間 packet queue (共有メモリ上) 物理NIC

集約可能なパケットグループの識別 専用テーブルを用いて次ホップVNFを識別 仮想環境 ホスト 集約グループテーブル Match Field vSwitch Y X Y X X 専用 ヘッダ vFirewall 提案手法 (vhost-user) VXLAN port Y 専用 ヘッダ vRouter another port vLB 集約グループテーブル Match Field Next VNF Dst. Mac 52:54:00:11:11:AA X Dst. Mac 52:54:00:22:22:BB Y … VNF: X VNF: Y パケットごとに 次のVNFが異なる

グループテーブルの制御 パケットアウト機能を利用したエントリ操作 エントリ追加/削除 仮想環境 ホスト 集約グループテーブル vSwitch vFirewall 提案手法 (vhost-user) VXLAN port vRouter another port vLB OpenFlow 集約グループテーブル エントリ追加/削除 Match Field Next VNF Dst. Mac 52:54:00:11:11:AA X Dst. Mac 52:54:00:22:22:BB Y … OFPT_PAKT_OUT グループテーブル 制御パケット SDN Controller

アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

性能評価 ベースライン性能 パケット数 スループット 遅延時間・ジッタ サービスチェーンでの性能 VNFの数に応じたスケーラビリティ

評価環境 (ベースライン) 評価の項目 評価構成 カプセル化によるパケット数の削減, スループット, 遅延 VNF VM 評価の項目 カプセル化によるパケット数の削減, スループット, 遅延 評価構成 両方の物理ホスト: デフォルトvhost-user 両方の物理ホスト: 提案手法 計測用: 提案手法, 評価対象: デフォルトvhost-user VM Traffic generator (MoonGen) VNF 提案手法の処理 port 3 (vhost-user) port 4 (vhost-user) port 3 (vhost-user) port 4 (vhost-user) 計測用ホスト 評価対象ホスト デカプセル化 カプセル化 デカプセル化 カプセル化  「VNFサポート有」 vFirewall 専用 ヘッダ Open vSwitch Open vSwitch パケットを集約したまま 処理できるVNF port 1 (DPDK) port 2 (DPDK) port 1 (DPDK) port 2 (DPDK) 10Gb Ethernet

パケット数 (ベースライン) 集約によるパケット数削減 最大約8割のパケット数を削減 単位時間あたりのパケット数が増加するに伴い 送信レート [pps] 100 K 1 M 3 M 8 M 14.8 M (理論値) パケット集約比† [%] 100 99.6 75.7 33.2 20.8 (UDP, size 64 bytes) 単位時間あたりのパケット数が増加するに伴い 多数のパケットを同時にバッファからデキュー より多くのパケットを集約 最大約8割のパケット数を削減 † パケット集約比 =(実ネットワークに送信されるパケット数)/(パケット送信数の合計)

スループット (ベースライン) 75%以上性能が向上 パケット数削減により転送効率が改善 64-128B パケットで パケットを集約したまま処理できるVNFなら 約175%性能が向上 パケット数削減により転送効率が改善

遅延・ジッタ (ベースライン) 約200 ナノ秒 遅延増加 約2 マイクロ秒 遅延減少 送信レート 1 Mpps 送信レート 3 Mpps (集約比: 99%) 送信レート 3 Mpps (集約比: 75%) 約200 ナノ秒 遅延増加 約2 マイクロ秒 遅延減少 集約/分解にかかる遅延時間の 増加はきわめて少ない パケットバッファ効率改善で 遅延時間が減少

評価環境 (サービスチェーン) 図全体: VNF2台のサービスチェーン VM3の送信レートはVM1, 2の倍 host1 VM3 host3 MoonGen (Tx only) VXLAN port MoonGen (Tx only) VXLAN port VM3の送信レートはVM1, 2の倍 VNF1 host4 VNF2 host5 VXLAN port VXLAN port VXLAN port VXLAN port VXLAN port VXLAN port OVS OVS VXLAN port VM2 host2 VXLAN port MoonGen (Tx & Rx) 点線内: VNF1台のサービスチェーン

スループット (サービスチェーン) 170%以上性能が向上 3.2 Mppsでオーバーロード 370%以上性能が向上 VNF 1台のチェーン VNF 2台のチェーン 170%以上性能が向上 3.2 Mppsでオーバーロード パケットを集約したまま処理できるVNFなら 370%以上性能が向上 提案手法はパケットが集中する ネットワーク上流部分で効果的

アウトライン 研究背景 関連研究 提案手法 性能評価 考察・まとめ 1 NFV / Service Function Chaining サービスチェーンにおける問題点 関連研究 VNF間ロードバランス手法 提案手法 性能評価 考察・まとめ 2 3 4 5

考察 遅延時間・ジッタ スループット サービスチェーンのパケット転送効率が向上 専用HWと比較して性能差あり (10 G理論値に到達せず) ハイパーバイザで分解することで性能向上が予想される 遅延時間・ジッタ 低レート: 200 ns 遅延増加, 高レート: 2 us 遅延減少 低遅延を要求される通信での許容値: 100ms 程度 ジッタの悪化なし

まとめ・今後の課題 パケット集約によりNFVネットワーク効率化 今後の課題 VMーホスト間の転送部分にパケット集約/分解処理を追加 パケット数削減により, スループットが75%以上向上 レイテンシは許容範囲 遅延ジッタは悪化せず 今後の課題 集約可能パケット群の識別機能の実装・評価 集約可能パケットの割合とスループットの関係を調査