Download presentation
Presentation is loading. Please wait.
1
VMwareクラウド環境向けEMCインフラストラクチャ
EMC Symmetrix VMAX 40K、 EMC Symmetrix FAST VP、EMC SRDF、 VMware vSphere 5 このプレゼンテーションでは、EMC Symmetrix VMAX 40Kが、VMwareクラウドにおいて重要なデータベースとアプリケーション向けに、データセンターでのプロビジョニングをサポートする方法について説明します。 EMCのソリューションにより、VMware vSphere 5をベースとした仮想環境で、VMAX 40K、FAST VP、SRDFを組み合わせます。 EMCソリューション グループ
2
アジェンダ ソリューションとテクノロジの概要 構成の詳細
Unisphere for VMAXを使用したVMAX 40Kへのス トレージの導入 仮想化とアプリケーションのプロファイル 検証とテスト まとめとソリューションのメリット アジェンダ
3
ソリューションとテクノロジの概要 VMwareクラウド環境をサポートする、高速で柔軟性に優れた、高性能のインフラストラクチャのためのEMCソリューションについて見てみましょう。
4
ビジネス ケース あらゆるミッション クリティカルなアプ リケーションとデータベースをサポート
あらゆるミッション クリティカルなアプ リケーションとデータベースをサポート FAST VPとSRDFを使用したFAST VP整合性により、本番サイトとリモー ト サイトでのパフォーマンスを保証 Unisphere for VMAXにより、スト レージ リソースの管理に要する時間 を削減 ROIの向上:統合階層型ストレージに より、階層1、2、3のストレージ資産を 最大限利用 VMwareクラウド上で、EMC Symmetrix VMAX 40K、FAST VP、SRDF、新しいUnisphere for VMAXによって、ミッション クリティカルなアプリケーションとデータベースをサポートします。
5
Symmetrix VMAX 40Kの紹介 大容量、高性能、高速 2.5インチSASドライブの新規サポート システム ベイの分散
新機能 大容量、高性能、高速 パフォーマンスと容量が以前の2倍に向上 2.5インチSASドライブの新規サポート 標準24インチ キャビネットに400台のドライ ブを収容可能 システム ベイの分散 スペースに余裕のないデータセンターでも柔 軟に拡張可能 EMCは、ハイエンド ストレージの次世代製品Symmetrix VMAX 40KとEnginuity 5876オペレーティング環境を導入しました。この製品は強力で信頼性の高いスマートなSymmetrix VMAX 20Kおよび10Kストレージを基盤とし、仮想データセンターにおけるさらに高レベルなパフォーマンス、可用性、インテリジェンスを実現します。 Symmetrix VMAX 40Kは、業界最高レベルのパフォーマンスと拡張性を備えたストレージ プラットフォームです。 VMAX 40Kは、同じ設置面積と消費電力で2倍のパフォーマンスと2倍の容量を実現します。 VMAX 40Kを使用すると、最小限の設置面積で最大のパフォーマンスが得られ、ワットあたりのパフォーマンスも向上します。 Symmetrix VMAX 40Kには、高密度ストレージをはじめとする革新的な機能拡張が多数導入されています。高密度ストレージにより、スペースに制約があるデータセンターが同じ設置面積でドライブを33%増加させることができます。 1つのアレイで最大3200台の高密度ドライブに対応できます。 また、Symmetrix VMAX 40Kはシステム ベイ分散機能を備えているため、床荷重の問題がある場合はデータセンター内でアレイを最大25 m(82フィート)離して設置できます。 この機能は、設置時にデータセンターの柱などの障害物を避けるためにも役立ちます。
6
極めて高いレベルの拡張性 強力な拡張性と統合 VIRTUAL MATRIX ハイブリッド クラウド環境の変革 新機能 エンジン1 最大
では、Symmetrix VMAX 40Kがどのようにしてハイブリッド クラウドの導入に必要な拡張性と統合を実現するのかを見てみましょう。 VMAX 20Kと同様に、1個のエンジンから始めて、拡張性とパフォーマンスの向上が必要になったときに新しいエンジンを追加することができます。 プレゼンターへのメモ: このスライドは、スライドショー モードにしてアニメーションを表示してください。 Symmetrix VMAX 20Kと同様に、VMAX 40Kは最大8個のエンジンまで拡張できます。エンジンのリソースはVirtual Matrixを通じてネットワーク接続および共有されます。 VIRTUAL MATRIX 最大 8個のエンジン
7
ソリューション概要 複数の重要なデータベース アプリケーションをVMwareプライ ベート クラウド上に導入。このクラウドは、Enginuity 5876 コードを実行するVMAX 40Kアレイが実現し、EMC SRDFレプ リケーションによるサイト保護を使用してFAST VPにより最適化 処理が集中する顧客データベース環境をシミュレートし、階層1 アプリケーションにサービスを提供 このソリューションは、VMAX 40Kプラットフォームがホストする複数のアプリケーションの実装、SRDFを使用したサイトの障害に対する保護、EMC FAST VPを使用したパフォーマンスの最適化を目的にしています。 Microsoft SQL Server OLTPとDSS、Oracle OLTP、SAP OLTP環境を、VMware ESXi 5.0 Update 1上の仮想マシンに導入します。 Oracle Database 11g R2 SAP ERP 6.0 EHP 4 Microsoft SQL Server 2012 オンライン トランザクション データベース データ ウェアハウス
8
ソリューションの概要(続き) EMC Unisphere for VMAXによる管理、監視、最適化
FAST VPの「ポリシーによる割り当て」機能を使用した、FAST VPの合理化されたアレイ管理 SRDF対応FAST VP(Enginuity 5876)が可能にするDRシナリオでのパフォーマンスの保証。本番サイトと災害復旧サイトの両方でアプリケーション ストレージを常時自動でチューニングすることにより実現 VMware vSphere 5 Update 1による仮想化 EMC Unisphere for VMAXは、直観的なアレイ構成とモニタリング ソリューションを備えており、ストレージをすばやく簡単にプロビジョニングできると同時に、先進的なパフォーマンス モニタリングと診断機能を利用できます。 Enginuity 5876オペレーティング システムの最新機能をVMAX 40Kアレイに搭載し、FAST VPの導入がさらに容易になっています。 ポリシーによる割り当てを有効にすれば、FAST VPがポリシー セットとストレージ階層の利用可能な容量に基づいて管理を行うため、データの初期配置について考慮する必要はありません。 SRDFのFAST VP対応を有効にすると、FAST VPによってサブLUN統計がリモート アレイに1時間に1回転送されます。 これにより、ターゲット アレイのFASTコントローラーは、本番デバイスでの読み取りアクティビティに関する最新情報を所有し、ソース アレイと同様な階層全体でホット データおよびコールド データを確実に配置します。 このように移動を調整することで、本番アレイとターゲット アレイは、データ配置という点でほとんど一致し、フェイルオーバー時には、再配置が必要なデータが少なくなるため、ターゲット アレイとソース アレイのパフォーマンスが一致するまでの時間が削減されます。
9
ソリューションのアーキテクチャと設計 各サイトに2つのESXiサー バーを構成 VMにOracle、SAP、SQL Serverを導入
SRDF/Sが保護するFAST VP によりEMC VMAX 40Kスト レージ アレイを最適化 ホストとサイト間で8 Gbファイ バー チャネルを稼働 ホストとサイト間の1 Gb Ethernetネットワーク接続 このアーキテクチャの図は、次のようにセットアップされた環境を表しています。 各サイトで、2つのサーバーを1つのクラスターに配置しています。 Oracle、SAP、MS SQLを、EMC VMAX 40KアレイのLUN上にプロビジョニングしたVMに導入し、EMC Symmetrix Remote Data Facilityによりレプリケートして保護しています。 レプリケーションは、8 GbのFCリンク2本をまたがる同期距離で行われます。 8 Gbファイバー チャネルを使用して、すべてのホストをアレイに接続しています。 フェイルオーバーは、両方の環境に接続する別の管理ホストから制御します。
10
ソリューション ハードウェア ストレージ アレイ 2 以下を搭載したEMC Symmetrix VMAX 40Kファミリ 3個のエンジン
コンポーネント 個数 構成 ストレージ アレイ 2 以下を搭載したEMC Symmetrix VMAX 40Kファミリ 3個のエンジン 384 GBキャッシュ 200 GBフラッシュ ドライブ×32 600 GB 10K FCドライブ×126 450 GB 15K FCドライブ×64 2 TB 7.2K SATAドライブ×72 VMware ESXiサーバー (本番仮想環境) 以下を搭載したESXiサーバー 10コアIntel Xeon E7 CPU(2.4 GHz)×8 1 TB RAM デュアル ポートBrocade Gb FC HBA×2 VMware ESXiサーバー (災害復旧仮想環境) 10コアIntel Xeon E7 CPU(2.4 GHz)×4 128 GB RAM デュアル1 Gb NIC デュアル10 Gb CNA FCスイッチ Brocade DCX 4S 8Gb FC Director Classスイッチ Ethernetスイッチ 1 Gb/s Ethernetスイッチ このソリューションの構築に使用したハードウェア コンポーネントは、次のとおりです。 2台のEMC VMAX 40Kアレイそれぞれに、以下を搭載しました。 3個のエンジン 276 GBキャッシュ 200 GBフラッシュ ドライブ×32 600 GB 10K FCドライブ(ヴォールト)×126 450 GB 15K FCドライブ×64 2 TB SATAドライブ×72 8 Gb FCポート×24 本番仮想環境向けの2つのVMware ESXiサーバーに、それぞれ以下を搭載しました。 10コアIntel Xeon E7 CPU(2.4 GHz)×8、1 TBのRAM デュアル ポートBrocade Gb FC HBA×2 災害復旧仮想環境向けの2つのVMware ESXiサーバーに、それぞれ以下を搭載しました。 10コアIntel Xeon E7 CPU(2.4 GHz)×4 128 GB RAM デュアル1 Gb NIC デュアル10 Gb CNA SANインフラストラクチャは以下により構築されました。 Brocade DCX 4S 8 Gb FC Director Classスイッチ×2 IP接続用に1 Gb/s Ethernetスイッチ×2
11
ソリューション ソフトウェア ソフトウェア バージョン EMC Symmetrix VMAX Enginuityコード 5876
EMC PowerPath PowerPath/VE V5.7 for VMware EMC Unisphere for VMAX 1.0 EMC Solutions Enabler 7.4 VMware vSphere ESXi 5 Update 1 アプリケーション SAP ERP 6 EHP 4 Oracle ASM Lib 2.0.5 Oracle Database 11gR SQL Server 2012 RTM オペレーティング システム Windows Server 2008 R2 SUSE Enterprise Linux 11 Red Hat Linux 5.7 ワークロード シミュレーション テスト ツール SQL Server 2012: MSTPCE(OLTP)ツールキットおよびQuest BMF(DSS/DW) Oracle: SwingBench 2.3 HP LoadRunner 9.52ビルド3188 この表は、このソリューション環境で使用したソフトウェア リソースを一覧で示しています。
12
主要なテクノロジ コンポーネント EMCのコンポーネント: アプリケーション
Enginuity 5876を使用するSymmetrix VMAX 40K Unisphere for VMAX SRDF(Symmetrix Remote Data Facility) SRDF整合性を使用するSymmetrix FAST VP PowerPath/VE VSI(VMware Storage Integrator) アプリケーション Oracle Database 11g R2 Enterprise Edition Microsoft SQL Server 2012 SAP ERP 6.0 EHP 4 このソリューションは、以下の主要な要素に基づいて構築されています。 EMCのコンポーネント: Enginuity 5876を使用するSymmetrix VMAX 40K Unisphere for VMAX SRDF(Symmetrix Remote Data Facility) SRDF整合性を使用するSymmetrix FAST VP PowerPath/VE アプリケーション Oracle Database 11g R2 Enterprise Edition Microsoft SQL Server 2008 SAP ERP 6.0 EHP 4
13
Enginuity 5876オペレーティング環境を使用するSymmetrix VMAX 40Kアレイ
フラッシュ FC SATA シンプルでインテリジェントなモジュラー設計のハイエンドのエンタープライズ ストレージ アレイ。システムをエントリ レベルの構成から世界最大のストレージ アレイにまで、シームレスかつコスト パフォーマンスの高い方法で拡張可能 2.5インチ フラッシュ、FC、SASドライブ搭載の新しい高密度構成オプション 同じ設置面積あたりのドライブ数を最大33%増加 ワットあたりのパフォーマンスを向上 仮想プロビジョニングによる、無停止かつオン デマンドでのシン プロビジョニング FAST VPによるサブLUNレベルでの自動ストレージ階層化 FAST VP SRDF整合性による災害復旧サイトでのパフォーマンスの保証 階層1、2、3ストレージに対するROIを最大化する統合階層型ストレージ TimeFinder VP SNAPによる容量効率の高いスナップショット機能 Unisphere for VMAXによる合理化された構成と管理 シンプルでインテリジェントなモジュラー設計のハイエンドのエ ンタープライズ ストレージ アレイ。システムをエントリ レベルの 構成から世界最大のストレージ アレイにまで、シームレスかつコ スト パフォーマンスの高い方法で拡張可能。 単一のアレイ内でフラッシュ ドライブ、FCドライブ、SATAドラ イブ、さまざまなRAIDタイプをサポート。 仮想プロビジョニングによる、無停止かつオン デマンドでのシン プロビジョニング。 FAST VPによるサブLUNレベルでの自動ストレージ階層化。 仮想LUN VPモビリティにより、透過的に、ホストとアプリケー ションに影響を与えることなく、プール間でシンLUNを手動で移 動することが可能。たとえば、基盤となるディスク テクノロジま たはRAIDタイプにかかわらず、シン ボリュームの多数のシン デ バイス エクステントを複数のシン プールから再収集し、それらす べてを単一のプールに移動することが可能。 EMC PowerPath/VEが、論理デバイスへの複数のI/Oパスと使用可 能なすべてのパスへのI/O要求のインテリジェントな分散をサポー ト。 Unisphere for VMAXによる構成と管理。
14
EMC仮想プロビジョニングの概要 ストレージ使用率が向上 ストレージ プロビジョニングの複雑さとオーバーヘッドを軽減
ESXi 3 10 TB ESXi 2 10 TB ESXi TB 3 TB 4 TB 物理的な 割り当て 共通 ストレージ プール ストレージ使用率が向上 ストレージ プロビジョニングの複雑さとオーバーヘッドを軽減 処理を自動化してストレージを容易に拡張 事前に物理ストレージ全体を提供することなく、過剰にスト レージをプロビジョニングして、アプリケーションの寿命を延長 無停止かつオン デマンドで容量を追加 パフォーマンス維持のための、シン プールの自動バランス再 調整 Unisphere for VMAXによる合理化されたストレージ管理 EMC Virtual Provisioningは、EMCが実現するシン プロビジョニングであり、ストレージ管理の合理化、容量の使用率の向上、パフォーマンスの強化を目的としています。 仮想プロビジョニングにより、物理ストレージ デバイスをホスト システムが認識するストレージ デバイスから分離します。 これにより、無停止でのプロビジョニングが可能となり、ストレージの使用率を高めることができます。 仮想プロビジョニングにより、事前に物理ストレージ全体を提供することなく、アプリケーション用にストレージをプロビジョニングできます。 つまり、管理者は、事前に物理ストレージ全体を購入しなくても、アプリケーションの寿命を延ばすのに十分なストレージを割り当てることができます。 このアプローチには次のようなメリットがあります。 必要な場合にのみストレージを追加すればよいので、初期の購入コストを低減できます。 ストレージ デバイスの追加または変更のためにアプリケーションを停止する回数が減ります。
15
EMC Symmetrix FAST VP:概要
仮想プロビジョニング シン プールのための自動ストレージ階層化 サブLUNレベルでの分析とデータ管理 単一のシン デバイスから複数のプールにデータを分散 LUNの特にアクティブな部分を高性能のフラッシュ ドライブに配置 LUNのあまりアクティブでない部分は、よりコスト パフォーマンスに優れた大容量のFCまたはSATAドライブに配置 エクステント グループ レベル(7,680 KB)でデータを移動 ユーザー定義のポリシーとアプリケーション パフォーマン スのニーズに基づいてデータを移動 データの移動は自動的で無停止 フラッシュ FC FAST VPは、シン プロビジョニング環境で、サブLUNデータの移動をサポートします。 仮想プロビジョニングの利点をサブLUNレベルでの自動ストレージ階層化と組み合わせ、次のことを実現します。 パフォーマンスとコストの最適化 ストレージ管理の大幅な合理化 ストレージ効率の向上 FAST VPは、インテリジェントなアルゴリズムを使用して、サブLUNレベルで継続的にデバイスを分析します。 これにより、LUNの最もアクティブな特定部分を認識して再配置し、フラッシュなどの高性能のストレージに移動することでメリットがもたらされます。 また、LUNの最も非アクティブな部分を認識してそのデータをSATAなどのコスト パフォーマンスの高い大容量のストレージに、パフォーマンスを変化させることなく再配置します。 階層間のデータの移動は、パフォーマンス測定とユーザー定義のポリシーに基づいており、FAST VPにより、自動的に無停止で実行されます。 SATA ストレージ管理を大幅に合理化 パフォーマンスを最適化 ストレージ効率の向上 FAST VPを使用したSymmetrix VMAX:適切なデータを適切な場所に適時に取得
16
Symmetrix FAST VP:コンポーネント
ストレージ階層: 同じテクノロジ タイプ、ドライブの速度、RAID保護レベルを備えたデバイスを含む1つ以上の仮想プールのセット。 ストレージ グループ: 管理を共通 化するストレージ デバイスの論理 グループ。 FASTポリシー: 関連づけられた ストレージ グループに適用される 階層使用ルールのセット ポリシーにより各階層の使用量上 限を割り当て、各階層に保存可能 なストレージ グループからのデー タ量を指定。 ストレージ グループは、管理を共通化するために使用するストレージ デバイスの論理グループです。 ストレージ グループは、ストレージ グループのデバイスを階層間でどのように割り当てるかを指定するFASTポリシーに関連づけられます。 FASTポリシーは、関連づけられたストレージ グループに適用される階層使用ルールのセットです。 FASTポリシーは最大3階層まで指定可能で、各階層の使用上限を割り当てます。 これらの上限により、ポリシーに含まれている各階層に保存可能なストレージ グループのデータ量が決定します。 管理者は、重要なアプリケーションにフラッシュ ドライブ容量をより多く使用する高パフォーマンス ポリシーと、重要度の低いアプリケーションにSATAドライブ容量をより多く使用するコスト最適化ポリシーを設定できます。 ストレージ階層は、1つ以上の仮想プールで構成されます。 階層のメンバーであるためには、仮想プールにテクノロジ タイプ、ドライブの速度、階層のRAID保護タイプが一致しているデータ デバイスのみが含まれている必要があります。 管理者は以下を設定可能: 高パフォーマンス ポリシー。重要なアプリケーショ ンにフラッシュ ドライブの容量をより多く使用する。 コスト最適化ポリシー。重要度が低いアプリケー ションにSATAドライブの容量をより多く使用する。
17
FAST VPとSRDF整合性を使用したSymmetrix VMAX: 本番サイトとDRサイトの両方で、適切なデータを適切な場所に適時に取得
1時間ごとに両方のサイトでパ フォーマンス統計を取得し交換 アクティブ サイトからのデータを 使用して、両方のサイトでデータ 配置を決定 FAST VPに、SRDFによる整合性が備わりました。 整合性はストレージ グループごとに有効となり、FAST VPはSRDFデータとともにパッケージされたパフォーマンス統計を送信できます。 R2アレイ上のFASTコントローラーは、直近の1時間の最新パフォーマンス統計を使用してデバイスとエクステントに対するスコアを更新し、R2で決定を行うことができます。 実質的に、このことにより、災害時にはR1アレイのデータの配置との一致度が高まります。 この機能は、このソリューションの一部としてテストされます。 FAST VPとSRDF整合性を使用したSymmetrix VMAX: 本番サイトとDRサイトの両方で、適切なデータを適切な場所に適時に取得
18
構成の詳細 次に、このソリューションの具体的な構成とセットアップの特性についていくつか見ていきます。
19
ストレージ構成:仮想プール シン プールの名前 ドライブのサイズ/ テクノロジ/RPM RAID保護 ドライブ数 TDATサイズ
DATAデバイス数 (TDAT) プール容量 FLASH_3RAID5 200 GBフラッシュ RAID 5(3+1) 32 68.8 GB 64 4.2 TB FC10K_RAID1 600 GB FC 10K RAID 1 126 66 GB 504 32 TB FC15K_RAID1 450 GB FC 15K 49.2 GB 256 12.2 TB SATA_6RAID6 2TB SATA 7.2K RAID 6(6+2) 72 240 GB 60 TB EMCの仮想プロビジョニングは、ストレージ設計を大幅に合理化します。 次のように、使用可能なドライブ タイプに基づいて、各アレイ上にシン プールを作成しました。 フラッシュ階層を作成し、RAID 5により保護。 FC階層を作成し、RAID 1により保護。 SATA階層を作成し、RAID 6により保護。 この構成は、両方のサイトで同レベルのパフォーマンスを実現できるように、ターゲット アレイにミラーリングされました。 ソース アレイとターゲット アレイの両方が、同じ数のドライブとプールで構成されています。 次のスライドでは、アプリケーションおよびFAST階層でこれらのプールを利用する方法の詳細について説明します。
20
アプリケーションによる仮想プールの使用 SAP、Oracle、MS SQL OLTPは共通のフラッシュ、FC、 SATAプールを共有
MS SQL DSSアプリケーショ ンは共通のSATAプールをす べてのアプリケーションと共有 するが、別のFCプールとバイ ンド SAP、Oracle、Microsoft SQL Server OLTPアプリケーションが、共通のファイバー チャネル、SATA、フラッシュ仮想プールを共有するよう構成されています。 規模の小さいFCプールは、MS SQL DSSデバイスだけが利用しています。 DSSトラフィックは長時間のシーケンシャル読み取りになる可能性があるため、非常にランダムなOLTPトラフィックから分離して、停止する可能性のあるこのアプリケーションがその他の共有リソースに影響を与えないようにします。 このようにすれば、共有FCプールへのロードを軽減することもできます。
21
フロント エンド ポートの使用状況 書き込み集中型アプリケーションを専用のフロント エンド ポートに隔離し、安 定したパフォーマンスを確保
共通トラフィックは 共通ポートに PowerPath/VEは ロード バランシングと フェイルオーバーを 管理 ここで詳しく説明するセットアップなど、いくつかのケースでは、複数のアプリケーションが高いワークロードを実行し、そのピークが非常に異なるワークロードのパターンと同時になる場合があります。 ワークロードを論理的に分離すると、HBAやアレイのフロント エンド ポートのようなハードウェア リソースに対する競合がなくなり、サービス レベルが保証されます。 このことは、マスキング ビュー用のポート グループの使用やSANゾーニングにより行います。 この図では、各ワークロード ドメインが、異なるポート グループを使用したことを示しています。 SAPはOracleと同じ物理サーバーで実行されていますが、別のフロント エンド ポートとHBAを使用するよう分離されました。 一方、同様なワークロードを実行していた両方のMSSQL OLTPワークロードは、同じポートを使用し、DSSワークロードから分離されました。 PowerPath VEは、ESXiサーバーのレベルでフェイルオーバーとホストI/Oのロード バランシングを管理し、仮想環境で実行中のアプリケーションによるホストのHBAリソースの使用率を均等にし、業界をリードするフェイルオーバーと事前対応型のパス監視を実現します。 PowerPath VEでは、データの転送先のパスを決定する際に、アレイのフロント エンド ポートの使用率とキューの深さが検討されます。 このことにより、パスの選択が効率的になり、ダイレクター間での非常に均等なロードの分散によって、実装を細かく調整できます。 この先進的な計画の結果として、競合するアプリケーションによるリソースの競合が制限されます。
22
FAST VPの構成 FAST VPは有効または無効の いずれかである データ移動は、自動として設定 する必要がある
新機能「ポリシーによる割り当 て」により、シン プロビジョニン グされた環境の容量管理を合 理化する この図は、主要なFAST VP構成の設定を表しています。 以下のとおりです。 状態: オンまたはオフ。 FASTはオンまたはオフのいずれかです。 移動モード: 自動またはオフ。 FAST VPをオンにすると、ユーザーとの対話処理は行われず、FAST VPは約8 MBチャンクの細分性レベルでデータを移動し、ユーザーには各チャンクが移動されていることがわかりません。 再配置レート: これは、FAST VPのデータ移動における積極性を制御します。 値が小さいほど、FAST VPの積極性が高くなります。 最小値は1、最大値は10、デフォルト値は5です。当社の環境でのテストでは、値に2を使用しました。 この設定は、任意のタイミングに移動されるデータ量と、プール間のデータ移動に与えられた優先順位に影響します。データ移動の速度には影響しません。 リザーブ容量の制限: 非FASTアクティビティにリザーブされた各仮想プールの容量の割合です。 対象となるプールの空き領域(プールの有効容量の割合として)がこの値を下回ると、FASTコントローラーはデータをプールに移動しなくなります。 FAST VP環境の管理と容量計画をさらに合理化するために、Enginuity 5876とSolutions Enabler 7.4では、FAST VPのポリシーによる割り当てを提供しています。 このシステム全体の設定により、FAST VPポリシーに関連づけられたシン デバイスに対する新しい割り当ては、シン デバイスがバインドされているプールからだけではなく、FASTポリシーと関連づけられたどの階層からも行われるようになります。 1つの階層に空き容量がなく、新しい割り当てを提供できない場合、トラックは残りのいずれかの階層から割り当てられます。 Tiers Demand Reportをコマンド ラインで、またはUnisphereからビジュアルで容易に生成し、ストレージの使用状況と将来のニーズに向けての計画を確認できるため、ポリシーによる割り当ては、容量管理を大幅に合理化します。 推奨するベスト プラクティスとして、FASTポリシーによるVP割り当てを有効にすることをお勧めします。 タイム ウィンドウ タイム ウィンドウを作成して、パフォーマンス分析の ためにデータを収集できるタイミングと、データ移動 が実行可能なタイミングを指定します。 FAST VPが最新の分析を使用してデータ配置を最適化できるよう、ウィンドウは常にオープンにしておくことを推奨します。
23
FAST VPの構成 VPプールから FAST VP階層を 作成 フラッシュ、FC、 SATAの割合を指 定して、ポリシー を定義
アプリケーション に適用 FAST VPの構成にかかる時間は数分です。 3つの主な手順があります。 Unisphereで[Storage]を選択し、ここから以下の手順を行います。 既存のVPプールからストレージ階層を作成します。 FAST VPポリシーを定義します。 アプリケーションに関連づけます。
24
Tiers Demand Report 容量管理を合理化
[Excess(GB)]に、各階層の残りのスペースを表示 階層ごとのFAST VP SGからの最大の要求 ポリシーによる割り当てを使用すると、ポリシー セットに合わせてFASTが自動的に階層間でデバイスを分散するため、アレイのオーバーサブスクリプションの管理が合理化されます。 UnisphereのTiers Demand Reportを使用して、各階層の残りのスペースを一目で正確に把握できます。 ストレージ管理者はこれを基準として使用すれば、追加のストレージをいつ発注する必要があるかがわかります。 また、このレベルの情報を表示するためのアクセス制限付きのアカウントを管理チームと監査チームに与えることもできます。 [Used(GB)]列には、現在のプールの使用状況が表示されます。 [Max SG Demand]には、FAST対応ストレージ グループによる特定の階層への合計最大要求が表示されます。一方、[Excess]には、FAST VPから使用できる最大容量に対してどれだけのスペースが残っているかが示されます。 ストレージ管理者は、管理チームと監査チームが独力でストレージの使用状況に関するレポートを生成できるよう、表示のみ可能なアクセス権を付与したアカウントをセットアップできます。 現在使用中のストレージ容量 UnisphereのTier Demand Reportを使用して、階層の使用 状況と要求を監視
25
Unisphere for VMAXを使用したVMAX 40Kへのストレージの導入
26
Unisphere for VMAXによる合理化されたストレージ プロビジョニング
Unisphere for VMAXにより、ユーザーはストレージ プロビジョニングの直観的なインターフェイスを使用できるとともに、ストレージ資産の包括的なパフォーマンス分析、モニタリング、傾向の確認を行えます。 シンプルさを念頭に置いて構築されたUnisphereの共通タスクにより、新しいユーザーはホストの作成、ストレージのプロビジョニング、FASTポリシーの適用の流れに沿って手順を進めることができます。 Unisphereにより、お客様は複数のVMAXアレイを単一の管理インターフェイスから監視し、管理できます。 Unisphere for VMAXは、Adobe Flexテクノロジを基盤として構築され、既存のEMC Unisphere管理製品群との一貫性を保つよう設計されました。EMC製品群全体にわたり、管理用に慣れ親しんだルック&フィールを提供します。 Unisphereのタスク指向の設計により、VMAXアレイからのストレージのプロビジョニングと導入が非常に簡単になります。 Unisphereの共通タスク ウィ ザードが、新しいユーザーにホス トに対するストレージ プロビジョ ニングのプロセスを案内する。 ユーザーはプロンプトに従って次 の手順に進むことができるため、 直観的な流れと学習プロセスが 生み出される。
27
カスケード ストレージ グループ 5876の新機能により、単一のマスキング ビューで複数のストレージ グループをネスト可能
Enginuity 5876では、カスケード ストレージ グループという新しい機能を提供しています。 これは、基本的にはストレージ グループ内でストレージ グループをネストする機能で、親ストレージ グループをマスキング ビューに関連づけ、その中に複数のネストされた子グループを含めます。 これによって、FAST VP対応ストレージを使用したESXiクラスターをより容易に管理できます。 5876より前は、FAST用とマスキング用に別のストレージ グループを作成して管理する必要があり、プロセスはより複雑でしたが、現在はアプリケーションを管理することができます。 仮想環境でFAST VP構成を合理化 単一のマスキング ビュー内の複数のアプリケーションを、所属するスト レージ グループとFASTポリシーで管理 さらに容易となったアプリケーション レベルでのモニタリングと管理の合 理化
28
FAST VP整合性をストレージ グループで有効化
この機能を有効にすると、FAST VPは、デバイス使用状況の統計をR1からR2に送信し、スタンバイ/フェイルオーバー サイトのFASTエンジンが決定の根拠となる最新のメトリックを所有できるようにする。 Unisphereのストレージ グループ管理で有効化 チェック ボックス Enable FAST VP RDF Coordination 整合性はソースとターゲットVMAXの両方のストレージ グループで有効化が必要 SRDF整合性は、R1とR2ストレージ アレイ間でFAST統計を送信するために、有効にする必要があります。 これにより、この機能がR1とR2に対して、関連づけられたストレージ グループのFAST VPの移動に関するパフォーマンス統計の送受信を許可します。 SRDF/SとSRDF/A、コンカレントSRDF構成をサポートします。 この機能を有効にすると、FAST VPは、デバイス使用状況の統計をR1からR2に送信し、スタンバイ/フェイルオーバー サイトのFASTエンジンが決定の根拠となる最新のメトリックを所有できるようになります。
29
仮想化とアプリケーションのプロファイル このセクションでは、このソリューションで使用した仮想化構成とアプリケーション構成のプロファイルについて説明します。
30
VMwareの構成 キューの深さの変更により、vSphere ESXiサーバーに対するHBAキューイングを削減
esxcli system module parameters set -p bfa_lun_queue_depth=64 -m bfa 仮想マシンのブートLUNを構成して、LSI SASアダプターを 使用 VMware PVSCSI(準仮想SCSI)アダプターを使用して、高 パフォーマンスを得るようデータLUNを構成 vCenterの スクリーン ショット 各サイトに2つのESXiサーバーを構成しました。 ストレージはVMAX 40Kで表示されているストレージから、両方のサイトのESXiノードに導入しました。 仮想マシンは、FASTポリシーを適用してVMAX 40Kアレイからストレージに導入しました。 ESXiオペレーティング環境には、最小限のチューニングを実施しました。 表示されているesxcliコマンドを使用してキューの深さを変更し、vSphere ESXiサーバーに対するHBAキューイングを削減しました。 仮想マシンのブートLUNを構成して、LSI SASアダプターを使用しました。 VMware PVSCSI(準仮想SCSI)アダプターを使用して、高パフォーマンスを得るようデータLUNを構成しています。
31
EMC Virtual Storage Integratorと VMAX 40K
EMC VSI(Virtual Storage Integrator)for VMware vSphereは、VMware vSphereクライアントのプラグ インであり、vSphere環境内でEMCストレージを管理する単一管理インターフェイスを提供します。 優れた方法でvCenter GUIから直接VMAX 40Kを可視化できます。 [EMC VSI]タブから、Storage Viewer機能とパス管理機能にアクセスできます。 ここから、構成したデータストアの情報と、データストアがバインドされている基盤のストレージ プールの情報を収集できます。 また、[Performance]タブにはLUNレベルの統計も表示されます。 このソリューションでは、VMAXボリュームはすべてのデータストアをホストし、Storage Viewerはデータストアの仮想ボリューム、ストレージ ボリューム、パスの詳細を表示します。 Storage Viewerは、特にEMC VSIがLUNリストをエクスポートできる環境を構成するときに役立ちます。
32
MSSQL OLAP(DSS、TPC-Hと同様)
アプリケーションの構成 Oracle OLTP Oracle DBインスタンス×1、vCPU×12と53 GB RAMを搭載 VMあたりのDB×1、2 TBの容量 SwingBenchのエントリ ワークロードは400ユーザー、60:40のR/W率 MSSQL OLTP(TPC-Eと同様) SQLインスタンス×2、vCPU×16と 32 GB RAMを搭載 VMあたりのDB×1、1 TBの容量 混在ワークロードでホット、ウォーム アプリケーションをシミュレート。85:15のR/W率 VMDKとは、Virtual Machine Disk(仮想マシン ディスク)の略です。 VMDKインスタンスは、VMDKデータストアを使用するVMインスタンスです。 Oracle 当社のOracle構成では、1つのVMに1つのOLTPデータベースを配置しました。 VMには、12個のvCPUと48 GBメモリを搭載しました。 ワークロードは、1000ユーザーまで拡張し、その際の読み取り/書き込み率は60/40でした。 SAP SAPは、ON Oracle 11gのテストにIDESリリース7.01を使用しています。 ロードを生成するために、HP LoadRunnerを使用して通常のアクティビティと、SAPローカル クライアント コピー(1つのSAPパーティションから別のパーティションに会社固有のテーブルをコピー)をシミュレートしました。 詳細 アプリケーション レイヤー SAP ERP 6.0 IDES用SAP Enhancement Package 4(EHP4) SAP NetWeaver Application Server for ABAPリリース7.01 データベース レイヤー: Oracle 11g オペレーティング システム レイヤー: SUSE Linux Enterprise Server(SLES)for SAP Applications 11 SP1 シミュレーター レイヤー: HP Load ControllerとHP Virtual User Controller×1 HP Load Runner Generator×4 すべてのSAPインスタンスとデータベース インスタンスをVMware vSphere仮想マシンにインストールしています。 MS-SQL 以下のように、3つの個別のMSSQLインスタンスをロードしました。 TPC-Eと同様なワークロードを実行するOLTP×2 TPC-Hと同様なワークロードを実行するDSS×1 この表に、仮想マシンの構成を示します。 仮想メモリはすべてのホストに対して専用とし、メモリのオーバーコミットは行いませんでした。 OLTPについては、ホット アプリケーションとウォーム アプリケーションを表すために混在ワークロードをシミュレートし、DSSについては、高い読み取りアクティビティを発生させるために単一のコンカレント ユーザー ロードをデータベースに対して起動しました。 SAP OLTP SAP ERP 6 IDES EHP 4インスタンス×3、vCPU×16と32 GB RAMを搭載 Oracle DBインスタンス×1、845 GBの容量 LoadRunner更新ユーザー×1000とローカル クライアント コピーのシミュレーション 80:20のR/W率 MSSQL OLAP(DSS、TPC-Hと同様) SQLインスタンス×1、vCPU×32と 128 GB RAMを搭載 VMあたりのDB×1、2 TBの容量 コンカレント ロード×2、100%読み取り
33
アプリケーション パフォーマンスの検証 オンライン ポリシーの調整 SRDFの整合性 すばやく適用できるアプリケーション フェイルオーバー
検証とテスト 次に、当社が実施した検証とテストについて説明します。 アプリケーション パフォーマンスの検証 オンライン ポリシーの調整 SRDFの整合性 すばやく適用できるアプリケーション フェイルオーバー
34
アプリケーション パフォーマンスの要約 4つのミッション クリティカルな大量トランザクションのアプリケーション。VMAX 40Kに導入したVMware vSphere 5.0プライベート クラウドで稼働する混在ワークロードを実行 SAP OLTP SQL Server OLTPインスタンス×2 SQL Serverデータ ウェアハウス×1 Oracle OLTP これら4つのアプリケーションをVMAX 40K環境に導入しました。 SAP SQL Server OLTPインスタンス×2 SQL Serverデータ ウェアハウス×1 Oracle OLTP
35
FAST VPポリシー 以下の表は、ベースラインとなる構成に対して設定したFAST VPポリシーの詳細です。
ストレージ グループ FASTポリシー名 フラッシュ FC SATA MSSQL1_OLTP MSSQL_OLTP 5% 40% 100% MSSQL2_OLTP MSSQL_DSS 0% Oracle 15% 35% 50% SAP 10% 80% ここに掲載した表は、各アプリケーション ストレージ グループに設定されたFAST VPポリシーを示しています。 MSSQL1とMSSQL2アプリケーションの両方が同じFASTポリシーを共有しています。 ここに示しているポリシーでは、アプリケーションによるフラッシュ階層の使用を制限し、1つのアプリケーションがフラッシュのリソースを独占しないようにしています。 つまり、オンラインになるアプリケーションが増えるにつれて、これらのポリシーのワークロードに合ったフラッシュのリソースが利用できます。 MSSQL1とMSSQL2アプリケーションの両方が同じFASTポリシーを共有 ポリシーにより、1つのアプリケーションがフラッシュのリソースを独占しないようフラッシュ階層を制限
36
ビルドの検証:すべてのアプリケーションを実行
Unisphereのリアルタイム分析チャートと診断パフォーマンス チャートを使用して、どのようにVMAX 40Kと導入したアプリケーションが機能しているかについて、ストレージ側からの洞察を得ることができます。 ここでは、アレイ ホストの1秒あたりのI/Oをストレージ グループごとに分けて示しています。オレンジ色のMSSQL DSSアプリケーションが、オレンジ色のアレイ上でロードの大部分を生成したことがわかります。 その他のアプリケーションが、残りのロードを構成しています。 DSSワークロードは周期的なものであり、表示されているチャートがのこぎりの歯の形になるような影響を与えています。これは、このワークロードにとっては正常なことであり、他の実行中のアプリケーションに影響しません。 示している診断チャートでは、アプリケーションごとにR1アレイ ホストの1秒あたりのI/Oを表示しています。 ここに示しているチャートでは、すべてのアプリケーションが導入され、安定した状態で実行されていることが示されています。 FAST VPが有効となり、チューニングを行っています。 MSSQL2は、TPC-eと同様のプロファイルの場合、約8000 IOPSで実行中。 MSSQL1は、TPC-eと同様のプロファイルの場合、約4000 IOPSで実行中。 Oracleは、SwingBenchオーダー エントリ ベンチマークで、非常にアクティブな400ユーザーからなるユーザー数を実行中。 SAPは、アクティブ ユーザー数1000のとき、約4000 IOPSで実行中。 ここに示されているのは、比較的高いI/Oプロファイルでの実行時に、4つのアプリケーションがそれぞれ共存可能となり、FAST VPが管理する基盤の仮想プール テクノロジから共有ストレージを使用しているということです。 各アプリケーションのパフォーマンスは許容範囲であり、細かく調整されたFAST VPポリシーにより他のアプリケーションに影響を与えませんでした。 OLTPアプリ ケーション 1分あたりのサーバー ト ランザクション数 読み取りの平均レ スポンス タイム Oracle 97,846 5.5ミリ秒 MSSQL1 37,920 10ミリ秒 MSSQL 2 139,020 11ミリ秒 DSS/OLAPアプリケーション 平均スループット MSSQL DSS 808 MB/秒 アプリケー ション 1分あたりのサーバー ト ランザクション数 平均ダイアログ レ スポンス タイム SAP 2894.8 929.93ミリ秒
37
FAST VPのSRDF整合性の検証 SRDFの整合性 太線はソース デバイス 点線はターゲット デバ イス ソースとターゲットでのバランス
両方のサイトで、同様な階層の使用状況 太線はソース デバイス 点線はターゲット デバ イス FAST VPを使用したSRDF整合性を検証するため、すべてのアプリケーションを両方のアレイ上のFC階層に移行し、完全なSRDF確立を行い、開始時点が中立になるようにしました。 上のグラフは、1つのアプリケーションの使用率を、そのアプリケーションがバランスをとるまでの時間に沿って示したものです。 このスライドでは、Oracleストレージ グループのデータ デバイスの1つであるSymmetrixデバイス426で発生した再バランシングを追跡できます。このデバイスは、再バランシング中に非常にアクティブなOracleデータ デバイスの1つです。 太線はR1上の階層の使用状況を表し、点線はR2上のストレージ階層の使用状況を表します。開始時点では、すべてのデータがFCに置かれ、FASTポリシーがアプリケーションと関連づけられていました。 時間の経過に伴い、R1上とR2上の階層の使用率がほとんど一致しています。 このことが示すのは、R1とR2の両方と同じように、このデバイス全体で容量のバランスがとられているということです。つまり、各サイトのFAST VPコントローラーにより、R1とR2で、データの配置に関して同じ決定が行われました。 次のスライドに続きます。
38
SRDF整合性(続き) R1とR2の両方で同様に分散されたすべての階層にわたりデバイスをバランス調整 ソース アレイ 災害復旧アレイ
~]# symcfg list -tdev -range 426:426 -bound -detail -v -sid 542 Symmetrix ID: Enabled Capacity (Tracks) : Bound Capacity (Tracks) : S Y M M E T R I X T H I N D E V I C E S Pool Pool Total Bound Flags Total Subs Allocated Written Sym Pool Name ESPT Tracks (%) Tracks (%) Tracks (%) 0426 FC10K_RAID1 F..B FLASH_3RAID SATA_6RAID Total Tracks ソース アレイ ここに示しているsymcfg listコマンド セットを使用して、詳細なリストを表示できます。 両方のサイトの同じデバイスで使用状況のバランスが取れているため、R2上のFAST VPエンジンがR1アレイと同じ情報に基づいて決定を行っていることがわかります。 R1とR2上の書き込み済みトラックの合計は異なっています。これは、RDFのゼロ ブロック検出により、すべて0のトラックを排除してR2に書き込まないからです。 ~]# symcfg list -tdev -range 426:426 -bound -detail -v -sid 541 Symmetrix ID: Enabled Capacity (Tracks) : Bound Capacity (Tracks) : S Y M M E T R I X T H I N D E V I C E S Pool Pool Total Bound Flags Total Subs Allocated Written Sym Pool Name ESPT Tracks (%) Tracks (%) Tracks (%) 0426 FC10K_RAID1 F..B FLASH_3RAID SATA_6RAID Total Tracks 災害復旧アレイ R1とR2の両方で同様に分散されたすべての階層にわたりデバイスをバランス調整
39
OracleとSAPがフェイルオーバーし、R2で実行
フェイルオーバー テスト アプリケーション ロードをR1サイトで長時間実行し、FAST VPが両方のアレイ上のストレージ グ ループのバランスをとる RDFリンクを分割し、フェイルオーバーをシミュレート SAPとOracleを、リモートESXiサーバー上で起動 フェイルオーバーの前後でパフォーマンスを監視 OracleとSAPをR1で実行 SRDF同期が完了し、両方のサイトでデータのバランスが取れたと見なした後に、以下を行いました。 アプリケーションを、R1サイトでシャットダウンしました。 400ユーザーをOracleに対してロードしました。 1000ユーザーをSAPランドスケープに対してロードしました。 ワークロードを、2時間実行したままにしました。 ホストI/Oに基づくランプ アップ タイムを記録しました。 その後アプリケーションをシャットダウンし、フェイルオーバーをシミュレートしました。 Oracle/SAPをDRサイトで、同じユーザー ロードで起動し、ランプ アップ タイムを比較しました。 アプリケーション パフォーマンス データも取得して、同様なパフォーマンス メトリックを確認しました。 リモート コピーを使用して、R2アレイでアプリケーションを再起動しました。 アプリケーションを起動し、同じユーザー ロードを生成してから数分以内に、アプリケーションはフェイルオーバー前と同じ数のI/Oを生成していました。 次のスライドに続きます。 OracleとSAPがフェイルオーバーし、R2で実行
40
フェイルオーバー テスト(続き) アプリケーション レベルでの フェイルオーバー後のパフォー マンスは本番と同等
測定された1分あたりのトラン ザクション数とレスポンス タイ ムは同等 この表は、ターゲット サイトのR2デバイスにSRDFトラフィックを同期する間に、ソース サイトのOracleアプリケーションによって処理された1分あたりのトランザクション数を示しています。 また、リモート サイトへのフェイルオーバー後にターゲット サイトで処理された、1分あたりのトランザクション数も示しています。 リカバリ サイトで、1分あたりのトランザクション数に多少の向上が認められました。 FACT SRDFリンクが一時停止し、書き込みはリモート アレイ キャッシュへのSRDFリンクを通過する必要がなかったため、フェイルオーバー サイトで多少の向上が認められました。
41
FAST VPの即応性と柔軟性 午前7時40分に、SQL OLTP ポリシーを調整し、追加のフ ラッシュ容量を追加
30分後にパフォーマンスが 向上 SQLトランザクション/秒が上 昇し、レーテンシーが低下 2時間後、SQLのパフォーマ ンスが安定 他の実行中のアプリケーショ ンによる影響は認められない FAST VPの柔軟性と即応性を示すため、MSSQL OLTPポリシーを5%から30%フラッシュに変更しました。 TPC-Eと同様なワークロードを実行し、アプリケーションを安定状態で数時間実行しながら、ポリシーのフラッシュの割合を増やしました。 ポリシーを変更して30分以内に、処理されたホストI/Oの数とサーバー トランザクションの数が増加し始め、約1.5時間後にはレスポンス タイムが平均9ミリ秒から3ミリ秒未満に減少しました。つまり63%向上しました。 同じ時間に2つのSQL ServerインスタンスのIOPSは、5330から8640に増加し、62%向上しました。 ストレージの観点から、2つのSQL ServerインスタンスのIOPSは5330から8640へと62%向上し、SQL Serverデータベースのトランザクション/秒は2897から5215へと80%向上しました。同時にレーテンシーは9ミリ秒から2ミリ秒に低下し、約78%向上しました。 このスライドは、ポリシー変更後に2つのSQL Server OLTPインスタンスが示したSQL OLTPパフォーマンスの向上を表したものです。 この間、他の実行中のアプリケーションはいずれも影響を受けることなく、安定状態で稼働し続けました。FC階層に転送されるI/Oが少なくなり、多少の向上が認められました。
42
まとめとソリューションのメリット VMAX 40Kは、さまざまなワークロードを実行する仮想化された重要なデータベース アプリケー ションにとって理想的なプラットフォームを提供。 EMCのVMware Storage Integratorに備わったエンド ツー エンドの可視性により、vCenter から直接VMAXデバイスを合理的に管理し、識別。 FAST VPのカスケード ストレージ グループにより、FASTを使用してESX環境を合理的に管理。 ポリシーによる割り当てが、FAST VPストレージ グループとFAST VPにより移動が必要なデータ 量との間でバランスをとる時間を短縮。 チューニング可能で、即応性が高いFAST VP。 FASTポリシーを調整することにより、変化する ビジネス上のパフォーマンスに対するニーズに適合するようパフォーマンスをチューニング可能。 他の実行中のワークロードに悪影響を与えずに、30分以内でパフォーマンスが向上。 FAST VPを使用したSRDF整合性により、構成が類似している場合、フェイルオーバー時に FAST VP環境のR2サイトで本番レベルのパフォーマンスを保証。 これにより、本番サイトと災害 復旧サイトの両方で、FAST VPのパフォーマンスとコスト面でのメリットを実現。 EMC Symmetrix VMAX 40Kは、仮想化された重要なデータベース アプリケーションにとって理想的なプラットフォームを提供します。 当社のテストでは、仮想環境でFAST VPにより管理されているVMAX 40Kアレイで、異なったワークロードを実行する複数の重要なアプリケーションを同時に実行できることが示されました。 カスケード ストレージ グループにより、FASTを使用してESXi環境の管理を合理化し、FASTとマスキング用ストレージ グループの管理に伴う複雑性を軽減できます。 ポリシーによる割り当てが、FAST VPストレージ グループとFAST VPにより移動が必要なデータ量との間でバランスをとる時間を短縮します。 FAST VPはチューニング可能で、即応性が高くなっています。 FASTポリシーを調整することにより、変化するビジネス上のパフォーマンスに対するニーズに適合するようストレージのパフォーマンスをチューニングできます。 MSSQL OLTPポリシーを調整することで、30分以内にレスポンス タイムのパフォーマンスが向上しました。その際、FASTポリシーでフラッシュの割合を増やす以外に変更は不要でした。 SRDF整合性により、FAST VPは、構成が類似している場合、フェイルオーバー時にFAST VP環境のR2サイトで本番レベルのパフォーマンスを保証します。 このことが、本番サイトと災害復旧サイトの両方で、FAST VPのパフォーマンスとコスト面でのメリットが実現されることを保証します。
43
質疑応答 何か質問はありますか?
44
ありがとうございました。
Similar presentations
© 2024 slidesplayer.net Inc.
All rights reserved.