仮想メモリを用いた VMマイグレーションの高速化

Presentation on theme: "仮想メモリを用いた VMマイグレーションの高速化"— Presentation transcript:

1 仮想メモリを用いた VMマイグレーションの高速化
九州工業大学　情報工学部 機械情報工学科 光来研究室 　村岡裕二

2 大容量メモリを持つVM IaaS型クラウドの普及 大容量メモリを持つVMも提供 ユーザに仮想マシン(VM)を提供
自由度の高いシステムの構築が可能 大容量メモリを持つVMも提供 Amazon EC2では4TBのVM ビッグデータの解析などに利用 VM 4TB VM 16GB

3 VMマイグレーション VMは停止させずに別のホストに移動できる 移送先ホストに十分な空きメモリが必要 VMのすべてのメモリを転送
転送中に更新されたメモリを再送 VMを停止させて転送を完了し、移送先で再開 移送先ホストに十分な空きメモリが必要 このようなホストを確保しておくのは高コスト 移送元ホスト 移送先ホスト VM本体 VM本体 メモリ マイグレーション 1 1 2 2 3 3 3 4 4 5 5 空き メモリ 更新メモリ

4 仮想メモリを用いた マイグレーション 仮想メモリを用いて必要なメモリ容量を確保 必要に応じてページングを行う
物理メモリに入り切らないデータはディスクに格納 物理メモリ容量以上のデータを扱うことが可能 必要に応じてページングを行う ページイン：ディスクのデータを物理メモリへ ページアウト：物理メモリのデータをディスクへ 移送元ホスト VM本体 移送先ホスト 物理 メモリ ページイン マイグレーション ディスク メモリ 1 2 3 4 5 ページアウト

5 仮想メモリを用いる問題点 マイグレーションとの相性が悪い VMのメモリ転送中に大量のページアウトが発生 VMのメモリ再送時にページインが発生
物理メモリに格納されたデータが後で追い出される VMのメモリ再送時にページインが発生 更新は物理メモリ上でしか行えない VM再開時にページインが発生 仮想化ソフトウェアのメモリが必要になる 移送元ホスト VM本体 移送先ホスト マイグレーション 物理メモリ メモリ ディスク 3 4 4 5 1 1 2 2 3 4 4 5 更新メモリ 仮想化ソフトウェアのメモリ 更新されるメモリ

6 提案：VMemDirect 仮想メモリとの連携によりVMマイグレーショ ンを高速化 VMのメモリを格納先に直接転送
メモリアクセス履歴に基づいて格納先を決定 VM専用の仮想メモリを提供 マイグレーション中のページングを抑制 移送先ホスト 移送元ホスト VM本体 メモリ マイグレーション 物理メモリ ディスク

7 VMのメモリの直接転送 VMのメモリを移送先ホストの物理メモリまた はディスクに直接格納 ページングのオーバヘッドを削減
移送元ホストでメモリの格納先を決定 格納先を指定する情報を付与してメモリを転送 ページングのオーバヘッドを削減 物理メモリとディスク間でのデータ転送が不要 移送元ホスト VM本体 移送先ホスト マイグレーション 物理メモリ メモリ ディスク 1 2 3 4 5

8 履歴に基づく格納先の決定 メモリアクセス履歴に基づいて格納先を決定 ディスクアクセスを削減 アクセスされそうなデータから順に物理メモリへ
残りのデータはディスクへ ディスクアクセスを削減 メモリ再送時に更新されるデータが物理メモリにあ る可能性が高くなる 移送元ホスト 移送先ホスト アクセス 履歴 VM本体 マイグレーション 物理メモリ ディスク 1 2 3 4 4 5 アクセスされそうな メモリデータ 残りのメモリデータ 8

9 VM専用の仮想メモリ VMごとにディスクにスワップファイルを作成 仮想化ソフトウェアのページングを防止
データを持たないブロックはディスクを消費しない 仮想化ソフトウェアのページングを防止 VMのメモリだけをページングの対象にする VM本体 ページング ディスク 1 2 4 3 5 仮想化ソフトウェアのメモリ VMのメモリ スワップファイル

10 VMemDirectでのページング 存在しないメモリ領域へのアクセスを検出 同時に、使われていないメモリを選択
スワップファイルのブロックを読み込み、削除 VMのメモリ領域にそのデータを書き込み 同時に、使われていないメモリを選択 スワップファイルのブロックにデータを書き込み VMのメモリ領域を削除 VM本体 ページイン ディスク 1 2 4 3 5 VMのメモリ スワップファイル ページアウト

11 実験 VMのマイグレーション性能を測定 従来の仮想メモリを用いた場合と比較 ディスクとしてHDD、SSD、NVMe SSDを使用
ホスト ディスク CPU: Intel Xeon E v3 メモリ：8GB ネットワーク：ギガビットイーサネット OS: Linux 4.11 仮想化ソフトウェア：QEMU-KVM 2.4.1 VM: メモリ2GB HDD: WD5000AAKX SSD: Crucial MX300 NVMe: Samsung NVMe SSD 960 EVO

12 マイグレーション時間 VMのマイグレーションにかかる時間を測定 HDDを用いた場合、従来手法と比べて38%の短縮
ページングを抑制した効果 SSD、NVMeを用いた場合、従来手法と同程度 ネットワーク性能がボトルネックになり、ページン グのオーバヘッドを隠蔽

13 ダウンタイム マイグレーションの最終段階でVMが停止する 時間を測定 従来手法と比べて42〜97%短縮
VMemDirectではディスクの違いによる差が小さい ページングによるディスクアクセスの削減の効果 13 13

14 関連研究 S-memV [Suetake et al.'16] Agileライブマイグレーション [Deshpande et al.'16]
VMを分割して複数ホストにマイグレーション ネットワーク経由のページングにより性能低下 Agileライブマイグレーション [Deshpande et al.'16] ネットワーク上にあるVM専用のスワップ領域を利 用した高速マイグレーション ページングのオーバヘッドが大きい Infiniswap [Gu et al.’17] 高速ネットワークを利用したページング 高価なInfinibandが必要

15 まとめ 大容量メモリを持つVMのマイグレーションを高 速化するVMemDirectを提案 今後の課題 VMのメモリを格納先に直接転送
マイグレーション性能の向上を確認 今後の課題 メモリアクセス履歴の取得の実装 ページアウトの実装

16