九大キャンパスクラウドの 現状と課題 伊東栄典 九州大学情報基盤研究開発センター 1 2012 年 8 月 28 日 アカデミッククラウドシンポジウム２０１２＠北海道大学.

Presentation on theme: "九大キャンパスクラウドの 現状と課題 伊東栄典 九州大学情報基盤研究開発センター 1 2012 年 8 月 28 日 アカデミッククラウドシンポジウム２０１２＠北海道大学."— Presentation transcript:

1 九大キャンパスクラウドの 現状と課題 伊東栄典 九州大学情報基盤研究開発センター ito.eisuke.523@m.kyushu-u.ac.jp 1 2012 年 8 月 28 日 アカデミッククラウドシンポジウム２０１２＠北海道大学

2 自己紹介  伊東栄典（いとう えいすけ）  九州大学情報基盤研究開発センター 学術情報部門  研究テーマ  Web 情報検索，コンテンツ検索・推薦  センターでの担当  学内向け：認証基盤，メール環境，キャンパスクラウド 2 学内認証基盤 Shibboleth IdP 職員用メール 学生用メール

3 3 目次 1. はじめに 2. 要求要件 3. キャンパスクラウドシステム 4. 運用までの様々な課題 5. おわりに

4 4 1. はじめに 目次 1.はじめに 2.要求要件 3.キャンパスクラウドシステム 4.運用までの様々な課題 5.おわりに

5 1. はじめに  クラウドシステムの普及  コスト削減  利便性・柔軟性向上  セキュリティ対策  商用クラウド（ Public Cloud ）  Amazon EC2/S3/ElasticMapReduce  学術機関向けクラウド（ Community Cloud ）  NII edubase cloud  北海道大学アカデミッククラウド  学内プライベートクラウド（ Private Cloud ）  九州大学キャンパスクラウド 5

6 目的  九州大学情報基盤研究開発センターの「キャンパスクラ ウドシステム」の現状と課題を紹介  要求要件  学内の教育・研究に関わる情報基盤整備の一環として，本学に 必要なクラウド環境の要件を調査し，要件に合致した（クラウ ド）システムを検討・配備  特に情報系の大学院（システム情報科学研究院）に要求される 機能を実現  システム構成  運用までの様々な問題 6

7 7 2. 要求要件 目次 1.はじめに 2.要求要件の明確化 3.キャンパスクラウドシステムの 構成 4.運用方法 5.検討課題 6.おわりに

8 ２．要求要件 8 研究室の Web, Mail サーバの 運用が大変。 停電時のシャットダウン， OS アップデート時のバック アップが面倒 研究室で使うサーバが 故障。新たなサーバは高いし， そもそも研究室に置くと 壊れやすい。 新しい OS やアプリを 試してみたいけど， 今のマシン環境を 壊すのはイヤ Linux マシンを 10 台 １ヶ月だけ使いたいが 実験環境の準備が面倒 クラウドで解決 A 君が研究用に作った環境 を自分も使いたい。 でも A 君に新たに実機を 準備して貰うのは気が引ける

9 九大・大学院システム情報科学研究院の方針・用途  方針  大学院内にサーバを置かない  学内プライベートクラウド，学 外パブリッククラウドの併用  用途  講義での利用（教員，学生）  講義に応じて利用  起動時間：９０分程度  研究活動での利用  Hadoop, データ処理など  必要に応じて利用  研究室での日常利用  Web サーバ，メールサーバ  基本的に停止させない 9 一般ユーザ （学生） 一般ユーザ （教員） VM 生成者 （教員） パブリッククラウド （ Amazon VPC ） プライベートクラウド 九大センター キャンパスクラウド VM 管理 ポータ ル VM

10 KITE （ Campus LAN ） VPN 10 Amazon Secure Virtual Private Cloud VPC 専用領域 Internet NAT Internet Gateway AWS VPN AWS(Amazon Web Service) Cloud EC2 S3 EC2 Router (Private) Subnet Amazon は Consolidated Account を 提供可能 ・親アカウントへまとめて課金 ・子アカウントが VM を稼働 支払いは代行業者を通すことが多い User

11 想定した計算機資源の利用場面  (1) 講義および演習での利用  (2) 常時稼働サーバおよび特定アプリの利用  Web server, Mail Server, …  (3) 情報サービス開発用  Web+DB, LDAP, etc…  (4) データ処理用  データマイニング， Web 検索・推薦，遺伝子解析， …  (5) 数値計算： HPC の担当  (6) 有線ネットワーク  (7) 無線通信 11

12 12 目次 3. キャンパスクラウドシステム 1.はじめに 2.要求要件 3.キャンパスクラウドシステム 4.運用までの様々な課題 5.おわりに 資料 http://p.tl/gy92 http://hdl.handle.net/2324/20255

13 3. キャンパスクラウドシステムのシステム構成  ４つの部分システム 1. 高年次教育用クラウド大学院の講義・演習用 2. サーバ用クラウド常時稼動サーバ 3. 開発用クラウドソフトやサービスの開発用 4. データ処理用クラウドデータに関する研究用  周辺装置  ストレージ 13

14 14 九州大学キャンパスクラウド・システム構成 サーバ用 Primary 4.3TB サーバ用 Primary 4.3TB 開発用 Primary 12.9TB 開発用 Primary 12.9TB 管理用 1.3TB home 用 8.0TB 教育用 4.0TB FC ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC ESXi 4.1 ESXi 4.1 ESXi 4.1 RH 5.6 LDAP RH 5.6 RH 5.6 BS320 シャーシ #1BS320 シャーシ #2BS320 シャーシ #3 サーバ用 CloudStack 開発用 CloudStack データ用 CloudStack HA8000/RS220 (ESXi 4.1) HA8000 シャーシ HA8000 VFP100NAMS2100 Private Server Dev VCL Blade 管理 Active Directory VMware vCenter HA8000/RS220 (Win2008)

15 ハードウェアスペック 15 種類実コア数 メモリ量 (GB) ディスク量 高年次教育用 108432 10TB NAS, 6*2*9 枚 4GB*108 利用者のホーム用 サーバ用クラウド 60240 2TB SAN, システム領域 6*2*5 枚 4GB*60 5TB SAN, 各 VM 用 開発用クラウド 108432 3TB SAN, システム領域 6*2*9 枚 4GB*108 15TB SAN, 各 VM 用 データ処理用 160 500GB×80 個 ブレード毎に個別 2*80 枚 2GB*80

16 Server Cloud （ On Demand VM ） 60 core Server Cloud （ On Demand VM ） 60 core クラウド 管理 システム Cloudstack クラウド 管理 システム Cloudstack Storage (20TB) Template (Linux) Template (Linux) Template (Win7) Template (Win7) VM (Linux) VM (Linux) Template から VM 生成 VM イメージ保存 User VM イメージ ダウンロード VM Image VM (Linux) VM (Linux) Web Interface 16 サーバ用クラウド Template (Win2008) Template (Win2008) Template (WinXP) Template (WinXP) Admin CPU: Xeon 2.5GHz (6core×2CPU = 12 core) Mem: 48GB (4GB/1core) Disk: 140GB SAS RAID1 10,000rpm VMware

17 Test/Dev Cloud （ On Demand VM ） 108 core Test/Dev Cloud （ On Demand VM ） 108 core クラウド 管理 システム Cloudstack クラウド 管理 システム Cloudstack Storage (20TB) Template (Linux) Template (Linux) Template (Win7) Template (Win7) VM (Linux) VM (Linux) Template から VM 生成 VM イメージ保存 User VM イメージ ダウンロード VM Image VM (Linux) VM (Linux) VM Image VM イメージ アップロード VM 17 開発用クラウド Template (Win2008) Template (Win2008) Template (WinXP) Template (WinXP) Admin CPU: Xeon 2.5GHz (6core×2CPU = 12 core) Mem: 48GB (4GB/1core) Disk: 140GB SAS RAID1 10,000rpm 通信を制限 デフォルトは 学内のみ Xen

18 状態監視 システム 状態監視 システム Data Proc. Cloud Hadoop, Map-Reduce 160core Data Proc. Cloud Hadoop, Map-Reduce 160core クラウド管理システム Slave node Slave node Slave node Slave node Slave node Slave node (Master) (reserve) (Master) (reserve) HDFS User template Web access Admin Private IP KITE (Campus LAN) SSH login Master (name node) (job tracker) Master (name node) (job tracker) 18 データ処理用クラウド CPU: Core i5-520 2.0GHz Xeon E5503 2core 2.0GHz Mem: 4GB/1core Disk: 500GB SATA Bare Metal

19 Storage (20TB) 108 core, VCL VMware Provisioning UMS 教育情報システム ( ユーザ管理システム ) Active Directory Active Directory LDAP Linux VM home Win VM home RDP Template (Linux) Template (Linux) Template (Win7) Template (Win7) End user PC User Storage (10TB) (User’s home) Storage (10TB) (User’s home) home クラウド 管理 システム VCL クラウド 管理 システム VCL SSH, VNC Template から VM 生成 KITE (Campus LAN) 19 CIFS SCP CPU: Xeon 2.5GHz (6core×2CPU = 12 core) Mem: 48GB (4GB/1core) Disk: 140GB SAS RAID1 10,000rpm VCL: Virutal Comp. Lab. 高年次教育用クラウド

20 How to use Education Cloud キャンパスクラウド 利用ポータル （九州大学で整備） Server Cloud Test/Dev Cloud Data Proc. Cloud Education Cloud Public Cloud Kyushu University Campus Cloud System Kyushu University Campus Cloud System Server Cloud SSO-KID Password Login Kyushu University Campus Cloud System Test/Dev Cloud SSO-KID Password Login Kyushu University Campus Cloud System Education Cloud SSO-KID Password Login 各クラウド 利用システム へのログイン （調達する 管理システム） Server Cloud 利用説明 Test/Dev Cloud 利用説明 Data Proc. Cloud 利用説明 Education Cloud 利用説明 How to use Server Cloud How to use Test/Dev Cloud How to use Data Proc. Cloud 各クラウドの 利用説明ページ LDAP or Shibboleth 20 エンドユーザ利用時の流れ

21 21 目次 4. 運用までの様々な課題 1.はじめに 2.要求要件 3.キャンパスクラウドシステム 4.運用までの様々な課題 5.おわりに

22 ４．運用までの課題  2012 年 10 月から本格サービス開始  現在はテスト期間  使ってみた感想  準備が良くできていれば，速い  20 台の Linux で Web データ収集クローラーを稼働  すぐに出来て便利。収集後は VM 削除。  実マシンを準備するより速いが， Web アプリとしてみると遅い  １台のマシン利用開始まで 10 分  ディスク容量が思ったより少ない  最大 40GB  長く使う場合に，どうなるか不安  ５年， 10 年と使えるのか？ 22

23 様々な課題  導入はしてみたけれど色々問題が  知識・経験が無かった  詳細を分かってなかった  (1) 多様な VM テンプレート  (2) 性能測定  (3) ネットワーク 23,j;;;;;j,. --- 一､ ｀ ―-- ‐､ _ l;;;;;; ｛ ;;;;;; ゝ T 辷 i ﾌ i f‘ 辷 j ァ !i;;;;; クラウドなら今まで出来なかった事が何でもできる。 ヾ ;;; ﾊ ﾉ.::!l ﾘ ;;r ﾞ `Z;i 〈.,_..,. ﾉ ;;;;;;;;> そんなふうに考えていた時期が,; ぇﾊ、 ､ _,. ｰ - ､ _',., ｆﾞ : Y;;f. 俺にもありました ~'' 戈ヽ ｀二 ´ r'´:::. `!

24 運用上の課題のまとめ  (1) VM テンプレートの準備  完全仮想化なら OK  (2) ベンチマークによる性能評価  仮想マシンでも CPU は遅くない  ディスク IO とネットワークに問題あり  (3) ネットワークの課題  IPv4 アドレスが足りない（多いので割り当てられない）  IPv6? 多重ネットワーク（グローバルと Private が共存？）  通信制限： VPN は面倒，個別のフィルタリングも難しい  帯域不足  Virtual Desktop の授業利用を検討（教室で 60 人が RDP を使う）  有線ならば良いが，無線では帯域が不足。 24

25 4.1 多様な VM テンプレートの準備  最初の予想  様々な OS が用意できる  古い OS も動く  やってみた結果  完全仮想化なら ISO イメージから VM 作成可能 25 (1) VM テンプレートの準備

26 CloudStack の OS type 26 1CentOS 4.5 (32-bit) 2CentOS 4.6 (32-bit) 3CentOS 4.7 (32-bit) 4CentOS 4.8 (32-bit) 5CentOS 5.0 (32-bit) 6CentOS 5.0 (64-bit) 7CentOS 5.1 (32-bit) 8CentOS 5.1 (64-bit) 9CentOS 5.2 (32-bit) 10CentOS 5.2 (64-bit) 11CentOS 5.3 (32-bit) 12CentOS 5.3 (64-bit) 13CentOS 5.4 (32-bit) 14CentOS 5.4 (64-bit) 15Debian GNU/Linux 5.0 (32-bit) 16Oracle Enterprise Linux 5.0 (32-bit) 17Oracle Enterprise Linux 5.0 (64-bit) 18Oracle Enterprise Linux 5.1 (32-bit) 19Oracle Enterprise Linux 5.1 (64-bit) 20Oracle Enterprise Linux 5.2 (32-bit) 21Oracle Enterprise Linux 5.2 (64-bit) 22Oracle Enterprise Linux 5.3 (32-bit) 23Oracle Enterprise Linux 5.3 (64-bit) 24Oracle Enterprise Linux 5.4 (32-bit) 25Oracle Enterprise Linux 5.4 (64-bit) 26Red Hat Enterprise Linux 4.5 (32-bit) 27Red Hat Enterprise Linux 4.6 (32-bit) 28Red Hat Enterprise Linux 4.7 (32-bit) 29Red Hat Enterprise Linux 4.8 (32-bit) 30Red Hat Enterprise Linux 5.0 (32-bit) 31Red Hat Enterprise Linux 5.0 (64-bit) 32Red Hat Enterprise Linux 5.1 (32-bit) 33Red Hat Enterprise Linux 5.1 (64-bit) 34Red Hat Enterprise Linux 5.2 (32-bit) 35Red Hat Enterprise Linux 5.2 (64-bit) 36Red Hat Enterprise Linux 5.3 (32-bit) 37Red Hat Enterprise Linux 5.3 (64-bit) 38Red Hat Enterprise Linux 5.4 (32-bit) 39Red Hat Enterprise Linux 5.4 (64-bit) 40SUSE Linux Enterprise Server 9 SP4 (32-bit) 41SUSE Linux Enterprise Server 10 SP1 (32-bit) 42SUSE Linux Enterprise Server 10 SP1 (64-bit) 43SUSE Linux Enterprise Server 10 SP2 (32-bit) 44SUSE Linux Enterprise Server 10 SP2 (64-bit) 45SUSE Linux Enterprise Server 10 SP3 (64-bit) 46SUSE Linux Enterprise Server 11 (32-bit) 47SUSE Linux Enterprise Server 11 (64-bit) 48Windows 7 (32-bit) 49Windows 7 (64-bit) 50Windows Server 2003 Enterprise Edition(32-bit) 51Windows Server 2003 Enterprise Edition(64-bit) 52Windows Server 2008 (32-bit) 53Windows Server 2008 (64-bit) 54Windows Server 2008 R2 (64-bit) 55Windows 2000 Server SP4 (32-bit) 56Windows Vista (32-bit) 57Windows XP SP2 (32-bit) 58Windows XP SP3 (32-bit) 59Other Ubuntu (32-bit) 60Other (32-bit) 61Windows 2000 Server 62Windows 98 63Windows 95 64Windows NT 4 65Windows 3.1 66Red Hat Enterprise Linux 3(32-bit) 67Red Hat Enterprise Linux 3(64-bit) 68Open Enterprise Server 69Asianux 3(32-bit) 70Asianux 3(64-bit) 71Debian GNU/Linux 5(64-bit) 72Debian GNU/Linux 4(32-bit) 73Debian GNU/Linux 4(64-bit) 74Other 2.6x Linux (32-bit) 75Other 2.6x Linux (64-bit) 76Novell Netware 6.x 77Novell Netware 5.1 78Sun Solaris 10(32-bit) 79Sun Solaris 10(64-bit) 80Sun Solaris 9(Experimental) 81Sun Solaris 8(Experimental) 82FreeBSD (32-bit) 83FreeBSD (64-bit) 84SCO OpenServer 5 85SCO UnixWare 7 86Windows Server 2003 DataCenter Edition(32-bit) 87Windows Server 2003 DataCenter Edition(64-bit) 88Windows Server 2003 Standard Edition(32-bit) 89Windows Server 2003 Standard Edition(64-bit) 90Windows Server 2003 Web Edition 91Microsoft Small Bussiness Server 2003 92Windows XP (32-bit) 93Windows XP (64-bit) 94Windows 2000 Advanced Server 95SUSE Linux Enterprise 8(32-bit) 96SUSE Linux Enterprise 8(64-bit) 97Other Linux (32-bit) 98Other Linux (64-bit) 99Other Ubuntu (64-bit) 100Windows Vista (64-bit) 101DOS 102Other (64-bit) 103OS/2 104Windows 2000 Professional 105Red Hat Enterprise Linux 4(64-bit) 106SUSE Linux Enterprise 9(32-bit) 107SUSE Linux Enterprise 9(64-bit) 108SUSE Linux Enterprise 10(32-bit) 109SUSE Linux Enterprise 10(64-bit) 110CentOS 5.5 (32-bit) 111CentOS 5.5 (64-bit) 112Red Hat Enterprise Linux 5.5 (32-bit) 113Red Hat Enterprise Linux 5.5 (64-bit) 114Fedora 13 (32-bit) 115Fedora 13 (64-bit) 116Fedora 12 117Fedora 11 118Fedora 10 119Fedora 9 120Fedora 8 121Ubuntu 10.04 (32-bit) 122Ubuntu 9.10 (32-bit) 123Ubuntu 9.04 (32-bit) 124Ubuntu 8.10 (32-bit) 125Ubuntu 8.04 (32-bit) 126Ubuntu 10.04 (64-bit) 127Ubuntu 9.10 (64-bit) 128Ubuntu 9.04 (64-bit) 129Ubuntu 8.10 (64-bit) 130Ubuntu 8.04 (64-bit) 131Red Hat Enterprise Linux 2 132Debian GNU/Linux 6(32-bit) 133Debian GNU/Linux 6(64-bit) 134Oracle Enterprise Linux 5.5 (32-bit) 135Oracle Enterprise Linux 5.5 (64-bit) 136Red Hat Enterprise Linux 6.0 (32-bit) 137Red Hat Enterprise Linux 6.0 (64-bit) 138None 139Other PV (32-bit) 140Other PV (64-bit) 141Sun Solaris 11 (64-bit) 142Sun Solaris 11 (32-bit) 143Windows PV 144Other CentOS (32-bit) 145Other CentOS (64-bit) 146Other SUSE Linux(32-bit) 147Other SUSE Linux(64-bit) 148Red Hat Enterprise Linux 6(32-bit) 149Red Hat Enterprise Linux 6(64-bit) 150 個くらい (1) VM テンプレートの準備

27 各 OS の最新版はテンプレートを用意  作業開始  ISO イメージを入手  VM 作成開始  CloudStack の「 OS タイプ」は， ISO イメージと同じもの選択  インストールが止まる  エラーメッセージが貧弱で，原因が分からない 27 (1) VM テンプレートの準備

28 完全仮想化と準仮想化  準仮想化 (Para Virtualization)  仮想マシン環境を実現するのに都合の良い仮想的なハードウェア を再定義する。この仮想ハードウェアは、実在のハードウェアに 似ているが、操作をするためにはハイパーバイザコールを呼び出 す必要がある。 Xen はこのハイパーバイザコールの要求に応じて 、仮想マシン環境に変更を加える。  この実装手法はエミュレーションのオーバーヘッドを最小限に抑 えることができるため、性能面で大きなアドバンテージがあるが 、 OS を Xen 仮想ハードウェア上に移植する必要がある。  完全仮想化 (Full virtualization)  実ハードウェア用に用意された OS をそのまま Xen 上で動作させる ことが可能となる。 28 Wikipedia より (1) VM テンプレートの準備

29 検証結果 ( 開発クラウド， Xen) OS タイプ ISO 登録 INS 作成 ISO 登録 (other)INS 作成 (other) CentOS 5.5 32bit ○○○○ CentOS 5.5 64bit ○○○○ Ubuntu 10.04 32bit ○ × ○○ Ubuntu 10.04 64bit ○ × ○○ Fedora 13 32bit ○ × ○○ Fedora 13 64bit ○ × ○○ Debian GNU/Linux 6 32bit ○ × ○○ Debian GNU/Linux 6 64bit ○ × ○○ FreeBSD 32bit ○○ FreeBSD 64bit ○○ OpenSUSE 12.1 32bit ○○ OpenSUSE 12.1 64bit ○○ CentOS 以外は完全仮想化で用意 (1) VM テンプレートの準備 29

30 検証結果 ( サーバクラウド， VMware) OS タイプ ISO 登録 INS 作成 ISO 登録 (other)INS 作成 (other) CentOS 5.5 32bit ○○○○ CentOS 5.5 64bit ○○○○ Ubuntu 10.04 32bit ○○○○ Ubuntu 10.04 64bit ○○○○ Fedora 13 32bit ○○○○ Fedora 13 64bit ○○○○ Debian GNU/Linux 6 32bit ○○○○ Debian GNU/Linux 6 64bit ○○未未 FreeBSD 32bit ○○ FreeBSD 64bit ○○ OpenSUSE 12.1 32bit ○○ OpenSUSE 12.1 64bit ○○ (1) VM テンプレートの準備 30

31 4.2 性能評価１： VM タイプの違い  Xen 上で動くの３つの VM タイプ  専用 VM ， Other PV ， Other Linux  3 種類が利用できる CentOS5.5 を対象に，ベンチマーク 調査 VM type 予想 専用標準とは違うインストーラが用意されているようなので、 準仮想化された環境になるのではないか Other PV XenServer のテンプレートとして CentOS 5 を使う。 CentOS 5.5 の VM を作る場合，専用 VM と同じ環境にな るのではないか Other Linux XenServer のテンプレートとして Other Install media を使 うので、完全仮想化された環境になるのではないか (2) ベンチマークによる性能評価 31

32 インスタンス生成  ３つの VM インスタンスを生成  32bit, 64bit とも同じ  専用・ Other PV と， Other Linux の標準インストーラでは ， HDD の認識が異なっていた 32 VM タイプインストーラ Kernelxenblk, xennet CentOS 5.5 （専用） CUI （カスタマイズ） 2.6.18-194.el5xen 有り Other PVCUI （カスタマイズ） 2.6.18-194.el5xen 有り Other Linux 標準 2.6.18-194.el5 無し (2) ベンチマークによる性能評価

33 ベンチマーク  姫野ベンチマーク CPU 性能  bonnie++ ストレージ性能  ベンチマークを走らせるインスタンスは 1 台だけ。  各インスタンスで 10 回計測を行い、値が最小と最大の物 を除いた 8 回分の平均値を算出 バージョンコンパイラオプション 姫野ベンチ マーク C, static allocate version Size M gcc 4.1.2 Bonnie++1.03eg++ 4.1.2-u root –d /tmp –x 10 http://accc.riken.jp/HPC/HimenoBMT.html http://www.coker.com.au/bonnie++/ (2) ベンチマークによる性能評価 33

34 計測結果 (1/13) 演算能力 だいたい同じ（ Other は遅くない） PV の方が，専用の CentOS より少し速い (2) ベンチマークによる性能評価 34

35 35 九州大学キャンパスクラウド・システム構成 サーバ用 Primary 4.3TB サーバ用 Primary 4.3TB 開発用 Primary 12.9TB 開発用 Primary 12.9TB 管理用 1.3TB home 用 8.0TB 教育用 4.0TB FC ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 ESXi 4.1 Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC Xen 5.6 FC ESXi 4.1 ESXi 4.1 ESXi 4.1 RH 5.6 LDAP RH 5.6 RH 5.6 BS320 シャーシ #1BS320 シャーシ #2BS320 シャーシ #3 サーバ用 CloudStack 開発用 CloudStack データ用 CloudStack HA8000/RS220 (ESXi 4.1) HA8000 シャーシ HA8000 VFP100NAMS2100 Private Server Dev VCL Blade 管理 Active Directory VMware vCenter HA8000/RS220 (Win2008) ストレージのベンチマーク

36 計測結果 (2/13) ディスク (32bit) (2) ベンチマークによる性能評価 36

37 計測結果 (3/13) ディスク (32bit) (2) ベンチマークによる性能評価 37

38 計測結果 (4/13) ディスク (32bit) (2) ベンチマークによる性能評価 38

39 計測結果 (5/13) ディスク (32bit) (2) ベンチマークによる性能評価 39

40 計測結果 (6/13) ディスク (32bit) (2) ベンチマークによる性能評価 40

41 計測結果 (7/13) ディスク (32bit) (2) ベンチマークによる性能評価 41

42 計測結果 (8/13) ディスク (64bit) (2) ベンチマークによる性能評価 42

43 計測結果 (9/13) ディスク (64bit) (2) ベンチマークによる性能評価 43

44 計測結果 (10/13) ディスク (64bit) (2) ベンチマークによる性能評価 44

45 計測結果 (11/13) ディスク (64bit) (2) ベンチマークによる性能評価 45

46 計測結果 (12/13) ディスク (64bit) (2) ベンチマークによる性能評価 46

47 計測結果 (13/13) ディスク (64bit) (2) ベンチマークによる性能評価 47

48 計測結果の考察  CentOS と Other PV は準仮想化されている  CentOS と Other PV との間の性能差は，理由不明  カーネル・モジュール・プロセスに差異が見当たらない (2) ベンチマークによる性能評価 48

49 性能評価２：仮想化とベアメタルの比較  仮想マシンは遅いのか？  PC で，ベアメタルと VM のベンチマーク調査 49 種類 Kernel Bare Metal 2.6.18-308.8.1.el5 Xen 準仮想化 2.6.18-194.el5xen Xen 完全仮想化 2.6.18-308.8.1.el5 VMware (vmware tools) 2.6.18-308.8.1.el5 OSCentOS 5.5 (64bit) Hyper visorXen Server 5.6.100-SP2 VMWare ESX i 4.1 Giga Hub Router HW3 (VMWare) HW2 (Xen Server) HW1 (Bare Metal) Apache Bench 計測端末 (2) ベンチマークによる性能評価

50 比較結果 50 姫野ベンチマーク Apache Bench ベアメタルが何故か遅い （チューニング無し）

51 4.3 ネットワークの課題  計算機や VM はお金をかければ増加可能  ネットワークが厳しい  様々な問題  IP アドレスが足りない  行きと帰りのアドレスが異なる  フィルタ設定が（学生には）面倒  帯域が足りない  経路全体の制御が出来ない 51 (3) ネットワークの課題

52 IP アドレス不足  学内は Global address  学内と学外から利用できるように，各 VM に Global IP アドレスを 付与  NAT  VM 作成者毎に通信制御を可能とするため， NAT を導入  利用者が CloudStack にログインすると， NAT が生成  NAT に IP アドレスが割り当てられる  ログインするだけで， Global IP アドレスを消費  運用でカバー  サービス運用担当者が VM を作るようにする  NAT での IP アドレス消費を制限  使われていないアカウントを定期的に削除  しかし台数が増えれば足りなくなる 52 (3) ネットワークの課題

53 行きと帰りのアドレスが異なる 53 Global IP 133.5.151.a VM1VM2VM3 KITE (Campus LAN) 10.1.1.1 10.1.1/16 Source NAT (Virtual Router) 10.1.1.210.1.1.310.1.1.4 NAT に 133.5.151.a が割当てられる。 VM1 に 133.5.151.b を結びつけ。 外から VM1 に行くには， 133.5.151.b を指 定。 でも， VM1 が外に通信すると， 133.5.151.a から通信されているようになる （設定をスタティックにすれば解消される が） 133.5.151.b (3) ネットワークの課題

54 フィルタ設定が（学生には）面倒 54 Global IP 133.5.151.a VM1VM2VM3 KITE (Campus LAN) 10.1.1.1 10.1.1/16 Source NAT (Virtual Router) 10.1.1.210.1.1.310.1.1.4 133.5.151.b NAT で， VM 毎の通信制御が設定可能 多くの大学院生は設定の書き方を知らない デフォルトの制御設定を付与するようにした (3) ネットワークの課題

55 通信帯域不足  教育用クラウド（ VCL で実現）  Virtual Desktop の授業利用を検討  教室で 60 人が， Windows VM を RDP 利用  Office くらいは良いが，動画再生をやると通信量が増大  有線ならば良いが，無線では帯域が不足。  有線通信のための設備は，費用がかかる  有線通信が無いマシンも増加  Mac book Air, iPad, タブレット端末 55 (3) ネットワークの課題

56 56 目次 ５. おわりに 1.はじめに 2.要求要件 3.キャンパスクラウドシステム 4.運用までの様々な課題 5.おわりに

57 4. おわりに  九州大学キャンパスクラウドシステム 1. 高年次教育用クラウド 2. サーバ用クラウド 3. 開発用クラウド 4. データ処理用クラウド  2012 年 3 月末導入， 10 月より本格稼働予定  様々な調査  VM テンプレートの準備  性能比較  ネットワーク上の問題 57

58 今後の課題  2012 年 10 月から本格運用  運用の詳細化  運用時の問題  状態監視  障害対応  ソフトウェアライセンス  様々な問題への対処  システム更新時の継続  利用者の異動（退職）や 卒業  マシン移譲やデータ移行  サービスの品質向上，性 能向上  他クラウドとの連携 58

59 59 ご清聴，ありがとうございました。