複数ホストにまたがるVMの 高速かつ柔軟な 部分マイグレーション

Presentation on theme: "複数ホストにまたがるVMの 高速かつ柔軟な 部分マイグレーション"— Presentation transcript:

1 複数ホストにまたがるVMの 高速かつ柔軟な 部分マイグレーション
九州工業大学　大学院情報工学府 情報創成工学専攻　光来研究室 M2 柏木崇広　

2 大容量メモリを持つVM IaaS型クラウドが普及 大容量メモリを持つVMも提供 仮想マシン（VM）を提供
Amazon EC2: 12TBのHigh Memoryインスタンス 2019年には24TBのインスタンスを提供予定 インメモリデータベースやビッグデータ解析に利用 0:50 仮想マシン VMコア メモリ 12TB

3 VMマイグレーション 稼働しているVMを別のホストに移動 移送先のホストに十分な空きメモリが必要
サービスを停止させずにホストのメンテナンスが可能 移送先のホストに十分な空きメモリが必要 十分な空きメモリを持つホストを常に確保しておくことは 避けたい コストの上昇による利用料金の上昇 運用の自由度の低下 1:40 移送元ホスト 移送先ホスト マイグレーション メモリ 12TB 空きメモリ 6TB VMコア

4 分割マイグレーション [Suetake+ APSys’16] [Suetake+ CLOUD’18]
VMを分割して複数のホストにマイグレーション VMコアとアクセスされそうなメモリ：メインホストに転送 それ以外のメモリ：サブホスト群に転送 分割メモリVM：マイグレーション後にリモートペー ジングを行いながら動作するVM 必要なメモリをサブホストからページイン 不要そうなメモリをページアウト 分割メモリVM アクセス 今後アクセスされないことが予想されるメモリ 2:30 移送先メインホスト 移送元ホスト マイグレーション メモリ 12TB メモリ 6TB VMコア メモリ 6TB 移送先サブホスト

5 分割メモリVMの マイグレーションにおける問題
マイグレーション性能が大幅に低下 従来のマイグレーションではリモートページングが頻発 実験では、通常VMのマイグレーションの6倍の時間 常にVM全体をマイグレーションする必要 一部のホストのメンテナンス時でも他のホスト上のVMの メモリも転送 従来で何故、メインホスト経由なのか説明する。 3:20 移送元メインホスト 移送先ホスト マイグレーション VM コア メモリ メモリ メモリ メモリ 移送元サブホスト

6 提案：部分マイグレーション 分割メモリVMに対して柔軟かつ高速なマイグレー ションを可能にする
移送元の各ホストが独立して移送先ホストに直接転送 転送時にリモートページングが不要 4:10 移送元メインホスト マイグレーション VM コア メモリ メモリ 移送先ホスト（群） 移送元サブホスト

7 部分マイグレーションの例 置換マイグレーション 統合マイグレーション 対象ホスト上のVMの一部だけを別のホストに移動
一部のホストだけのメンテナンス時にマイグレーションを 高速に完了可能 統合マイグレーション 複数のホスト上のVMを一つのホストに統合 新メインホスト メモリ VM コア メインホスト メモリ VM コア

8 部分マイグレーションの例 置換マイグレーション 統合マイグレーション 対象ホスト上のVMの一部だけを別のホストに移動
一部のホストだけのメンテナンス時にマイグレーションを 高速に完了可能 統合マイグレーション 複数のホスト上のVMを一つのホストに統合 メインホスト サブホスト メモリ VM コア 新ホスト メモリ VM コア

9 置換マイグレーション （メインホスト） 移送元メインホスト：VMコアとメモリを転送 移送先メインホスト：元のサブホストに接続
サブホストに存在するメモリは転送しない サブホストにあるメモリについてはその情報のみを送信 移送先メインホスト：元のサブホストに接続 マイグレーション後にリモートページングを行うため 移送元メインホスト Userfaultfddを書かない 移送先ホスト：サブホストと接続 userfaultfd機構の説明:qemuでページングを扱うための機構 6:40 マイグレーション 移送先メインホスト VM コア メモリ メモリ 接続 サブホスト

10 置換マイグレーション （サブホスト） 10 移送元サブホスト：VMのメモリを転送 メインホスト：移送先サブホストと接続
メインホストからサブホストへメモリの転送を指示 メインホストからは何も転送しない メインホスト：移送先サブホストと接続 マイグレーション後にリモートページングを行うため メインホスト 9:10 接続 VM 本体 メモリ メモリ マイグレーション 移送先サブホスト メモリ 移送元サブホスト 10

11 置換マイグレーション中の リモートページング(1/2)
マイグレーション中にリモートページングが発生し た場合でもメモリの整合性を保つ メインホストかサブホストに必ず存在 どちらか一方のホストにだけ存在 ページインされたメモリ 移送先メインホストに存在しなければ再送機構で転送 再送機構を用いて説明 7:30 移送元メインホスト 移送先メインホスト VM コア マイグレーション VM コア ページイン 11 移送元サブホスト

12 置換マイグレーション中の リモートページング(2/2)
ページアウトされたメモリ メインホストから転送済みの場合、サブホストと移送先メ インホストの両方に同じメモリが存在 OSの機能を拡張して移送先メインホストに転送済みのメ モリを無効化 サブホストにだけ存在するようにする Userfaultfd 機構 -> OSの〜 8:20 移送元メインホスト 移送先メインホスト VMコア マイグレーション VM コア ページアウト 12 移送元サブホスト

13 統合マイグレーション メインホストとサブホストの置換マイグレーションを 同一の移送先ホストに対して実行
複数NICを用いてメモリを並列に転送することで高速化 NICごとにルーティングテーブルを作成 両方の置換マイグレーションが完了すると、一つのホス トでVMが動作 ボンディングの説明も行う 10:50 移送元メインホスト 移送先ホスト VM コア メモリ NIC メモリ 移送元サブホスト

14 統合マイグレーション中の リモートページング
リモートページングへの対処は置換マイグレーショ ン単独の場合とは一部異なる ページイン・ページアウトされたメモリは未転送ならば移 送先ホストに転送（単独の場合と同様） 移送先ホストに転送済みのメモリの無効化は行わない 最終的にすべてのメモリが移送先ホストに送られるため 11:40 移送元メインホスト 移送先ホスト VM コア マイグレーション VM コア ページイン ページアウト 移送元サブホスト

15 実験 分割メモリVMに対する置換マイグレーションと統 合マイグレーションの性能を測定 実験環境
移送先メインホスト CPU:Xeon E v3 メモリ:32GB OS:Linux 4.3 仮想化SW:QEMU-KVM 2.4.1 12:30 10GbE CPU:Intel Core i7-8700 メモリ:64GB OS:Linux 4.15 CPU:Xeon E v3 メモリ:32GB OS:Linux 4.3 仮想化SW:QEMU-KVM 2.4.1 CPU:Intel Core i7-8700 メモリ:64GB OS:Linux 4.15 移送元ホスト 移送先サブホスト１・２

16 様々な部分マイグレーションの性能 マイグレーション時間 ダウンタイム 部分マイグレーションでは従来の1/3に短縮 VMのメモリ量に比例
置換／統合マイグレーションでは減少 VM停止後に転送されるデータ量が少なかったため 凡例を分ける メモリの図を追加 ダウンタイムを説明 KVMの見積もり 早くなったのが良いことではない 13:20

17 高負荷VMの マイグレーション性能 メモリの書き換えを繰り返すVMのマイグレーション 性能を測定
メモリの再送によりマイグレーション時間が増加 サブホストの置換マイグレーションは低負荷時と同程度 部分マイグレーションのほうが従来よりまだ高速 ダウンタイムは従来と同程度

18 マイグレーション後のVMの性能 マイグレーション前後でインメモリ・データベースの 性能を測定
分割マイグレーション後はリモートページングが頻発して 性能が大幅に低下 統合マイグレーション後はVMの分割前と同等の性能 １２GBは入りきらない量 14:10

19 関連研究 MemX [Deshpande+ ICPP’10]
サブホストの置換マイグレーションをサポート マイグレーション中のリモートページングは考慮しない Scatter-Gather Migration [Deshpande+ CLOUD'14] 後半部分が統合マイグレーションに似ている マイグレーション中のページングは単純に対処可能 Jettison [Bila+ EuroSys'12] デスクトップVMの一部だけをサーバにマイグレーション したり戻したりできる 部分マイグレーションの１つの形態 必要に応じて飛ばす

20 まとめ 分割メモリVMに対して柔軟かつ高速な部分マイグ レーションを可能にするIPmigrateを提案 今後の課題 置換マイグレーション
統合マイグレーション 分割メモリVMの一部をホスト単位で一つのホストに集約 今後の課題 ビッグデータ処理を模した様々なベンチマークの実行 より柔軟な部分マイグレーションの実現 実現 15:00