2006年11月1日 日本アイ・ビー・エム株式会社 日本アイ・ビー・エム・システムズ・エンジニアリング株式会社 gLiteとその利用方法に関するご説明 2006年11月1日 日本アイ・ビー・エム株式会社 日本アイ・ビー・エム・システムズ・エンジニアリング株式会社
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 免責事項 この資料に含まれる情報は可能な限り正確を期しておりますが、日本アイ・ビー・エム株式会社および日本アイ・ビー・エム システムズ・エンジニアリング株式会社の正式なレビューを受けておらず、当資料に記載された内容に関して何ら保証するものではありません。 従って、この情報の利用またはこれらの技法の実施はひとえに使用者の責任において為されるものであり、資料の内容によって受けたいかなる被害に関しても一切の保証をするものではありません。 また、当資料に記載された製品名または会社名はそれぞれの各社の商標または登録商標です。 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 ご説明の流れ gLiteと機構内のgLite環境について gLite環境の利用方法について 補足：gLite UIコンポーネントの導入方法 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
gLiteと機構内のgLite環境について
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 EGEE（Enabling Grid for E-sciencE）が開発している グリッドミドルウェア 各国・地域ごとに整備が進んでいる研究コラボレーション基盤 Europe : EGEE/gLite USA : OSG/Grid 3 Japan : NAREGI/Naregi Middleware ...etc. 主な機能 以下の機能を、複数組織体にまたがって提供する 電子証明書を利用したユーザ認証・管理機能 ..etc. 計算ジョブの投入・削除などのジョブ制御機能 処理対象データの登録・複製・読出し・削除など管理・共有機能 利用可能なリソース情報を公開・共有する機能 グリッドの 基本理念 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
gLiteのコンポーネント（1/3） gLiteは複数のコンポーネントが相互に連携し グリッド環境としての機能を提供します UI（User Interface） エンドユーザが直接ログインして利用する ジョブの投入やデータの操作、 情報の取得などのコマンドを実行できる WN（Worker Node） 計算ジョブを実行する CE（Compute Element） 計算ジョブの実行を管理する 1台のCEによって 複数のWNが 制御される 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 RB（Resource Broker） 計算ジョブの受付窓口 計算ジョブの処理状況も監視する SE（Storage Element） 各種データファイルを保存・管理する ストレージ資源への実アクセスを制御 LFC（LCG File Catalog） データの索引を管理する 実データファイルへのマッピングやデータ複製を実施する 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 BDII（Berkley Distributed Information Index） グリッド環境の情報を収集・公開する 主にコンポーネント間で相互状況を確認する際に使用する MON（Monitoring） + Grid ICE グリッド環境の詳細な稼動情報を収集・管理するコンポーネント 主に管理者や利用者が使用する 機構内の場合、以下のURLから情報を参照できる http://rls08.cc.kek.jp/gridice/host/host_summary.php?siteName=JP-KEK-CRC-02 VOMS (VO Management Server) グリッドを利用できるユーザの証明書情報を登録・管理する 他にもコンポーネントがありますが、本セッションでは割愛させていただきます 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 Grid CA ユーザの電子証明書を発行する サーバの電子証明書を発行する UI, RB, CE, SE, LFC, VOMSなどが利用している 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 GRID RB LFC MON SE 海外研究所 CERN、DESY rls03 rls05 SE rls08 UI CE PX/BDII rls07 rls06 rac01 rls02 rls04 HPSS システム LCGファイルサーバ + DISK (AIX5L 5.3) WN LCG計算サーバ (CERN SL) rlc13～rlc36 今回ご購入いただきましたファイルサーバはrls07となります UIノードであるrac01dt.cc.kek.jpをご利用いただけます ただし、ILCグループで所有の既存ファイルサーバは直接マウントできません 既存ファイルサーバ上のデータを利用するためには、後述の利用案を参照ください 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 システム情報（抜粋） 計算ノード 24ノードの計算ノード 各ノードのスペック CPU：AMD Opteron 2.6GHz Memory：4GB OS：Scientific Linux CERN 3.0.8（i386 – 32bit版） ストレージ 合計約2.5TBのストレージ領域が利用可能 Gridシステム用ファイルサーバ 500GB HPSS 1TB ご購入いただいたファイルサーバ 1TB 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 この部分をご用意ください ILCクラスタ ILC用UI 機構内GW NFSマウント ILC既存ファイルサーバ GRID RB LFC MON SE 海外研究所 CERN、DESY rls03 rls05 SE rls08 UI CE PX/BDII rls07 rls06 rac01 rls02 rls04 HPSS システム WN LCG計算サーバ (CERN SL) rlc13～rlc36 LCGファイルサーバ + DISK (AIX5L 5.3) 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
gLite環境の利用方法について 本章では概要をご説明いたします。 詳細はgLiteマニュアル（参考資料【3】）をご参照ください。 また、本内容はICEPP坂本先生のサイト（参考資料【6】）を 参考に作成しております
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 前提条件 証明書の取得 KEK CAの証明書取得方法は参考資料【5】を参照ください 証明書の配置 ${HOME}/.globusディレクトリを作成し、hostcert.pemとhostkey.pemファイルを配置 hostkey.pemファイルはchmod 600としておくこと VOへの登録 ILCのVOへの登録方法例は次頁を参照 ILCのVO管理者に対して事前に登録許可の交渉をされることをお勧めいたします 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 ILC VOへのユーザ登録方法（1/3） ILC VOMSサイトへアクセス https://grid-voms.desy.de:8443/voms/ilc/ ※ ブラウザに証明書が導入されている必要があります 左側メニューにある「New User Registration」をクリック 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 ILC VOへのユーザ登録方法（2/3） 赤字の項目に必要事項を記入し、「I have read and agree to VO’s Usage Rules」をクリック 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 ILC VOへのユーザ登録方法（3/3） 登録の確認メールが届きますので、入力事項が正しいかを確認し、メール本文中のURLをクリックしてください 登録リクエストがVO管理者に自動的に送信されます VO管理者による登録作業完了後、通知メールが届けば登録完了です 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 利用頻度の高い操作の利用方法をご説明いたします グリッドシステム利用のための認証 グリッドジョブ操作 ジョブの投入や結果の取得方法など データ操作 データの取得やアップロードなど グリッド情報取得 グリッドシステム利用にあたり必要となる情報の取得方法 これらの操作はすべてUI上で行います 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 グリッドシステム利用のための認証（1/2） ジョブの投入やデータ操作の前に、グリッドシステムを利用するための認証作業が必要です 認証の方法（grid-proxy-init コマンド） 認証コマンド実行後、通常は一定期間（通常24時間）経過すると認証が破棄されるため、再認証が必要となります 認証の破棄（grid-proxy-destroy コマンド） 認証を明示的に破棄する場合に使用 $ grid-proxy-init Your identity: （ここにユーザの証明書情報（DN）が出力されます） Enter GRID pass phrase for this identity: （証明書取得時に登録したパスワードを入力） Creating proxy .................................................. Done Your proxy is valid until: Mon Oct 30 03:23:11 2006 $ grid-proxy-destroy 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 グリッドシステム利用のための認証（2/2） 認証情報の参照方法（grid-proxy-info コマンド） 認証の有効期限を調べるときなどに使用 $ grid-proxy-info subject : （ここにユーザの証明書情報（DN）＋αが出力されます） issuer : （ここにユーザの証明書情報（DN）が出力されます） identity : （ここにユーザの証明書情報（DN）が出力されます） type : full legacy globus proxy strength : 512 bits path : /tmp/x509up_u28522 timeleft : 11:58:46 認証が残りどのくらいの時間有効かを示します 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 グリッドジョブ操作（1/3） JDL（Job Description Language）というジョブ記述言語を用いて処理内容を記述し、gLite環境へジョブを投入します JDLの例（hostname.jdl） 文法の詳細については参考資料【6】などを参照ください // hostname.jdl Executable = "/bin/hostname"; StdOutput = "std.out"; StdError = "std.err"; OutputSandbox = { "std.out","std.err" }; コメントの例です 実行するコマンド名を記述します 出力ファイル名です エラー出力ファイル名です 計算ノードから回収するファイルです 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 グリッドジョブ操作（2/3） ジョブの投入（edg-job-submit コマンド） ジョブを投入するとジョブIDファイルが生成されます ジョブの状態を調べる（edg-job-status） ジョブ投入後に生成されたジョブIDファイルを利用します ジョブの状態の種類は参考資料【6】を参照ください $ edg-job-submit --vo VO名 -o ジョブIDファイル名 投入するJDLファイル名 例：$ edg-job-submit --vo ilc -o jobid hostname.jdl $ edg-job-status -i ジョブIDファイル名 例：$ edg-job-submit -i jobid 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 グリッドジョブ操作（3/3） ジョブの結果を取り出す（edg-job-get-output） ジョブ状態がDONE(SUCCESS)となると結果を取り出せます 取り出した結果は、通常/tmp/jobOutputディレクトリの下に配置されます コマンド実行後のメッセージに詳細な場所が出力されます 投入したジョブをキャンセルする（edg-job-cancel） $ edg-job-get-output -i ジョブIDファイル名 例：$ edg-job-get-output -i jobid $ edg-job-cancel -i ジョブIDファイル名 例：$ edg-job-cancel -i jobid 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 データ操作（1/4） データの操作には、gLite環境へのデータのアップロードとダウンロード、ファイル情報の取得があります 世界中のgLiteサイトからデータにアクセスできるように、「レプリカカタログ」にデータを登録します 同じデータは複数のサイトに複製保持されることがあります データの参照方法は論理ファイル名（LFN）と物理ファイル名（SURL）の2種類があります LFN：論理的に同じ（複製元ファイルと複製先ファイル）ファイルは同じ論理ファイル名となります 例：lfn:/grid/atlasj/user/data ※ 必ず/grid/VO名が先頭に必要です SURL：どのSEのどの場所にファイルがあるか、つまり、ファイルの実態がどこにあるかを表します 例：srm://rls06.cc.kek.jp/dpm/cc.kek.jp/home/atlasj/generated/2006-10-31/file5bf7927c-70d7-4839-b81e-933df333d3bd 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 データ操作（2/4） 事前準備として2つの環境変数を設定します 以下は、機構内環境を利用する場合の例です カタログ情報の取得（lfc-ls コマンド） UNIXのlsコマンドと同じような使い方となります $ export LCG_CATALOG_TYPE=lfc $ export LFC_HOST=rls05.cc.kek.jp $ lfc-ls /grid/belle ibm-mat kstrgamma watase 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 データ操作（3/4） ディレクトリの作成（lfc-mkdir コマンド） 作業用のディレクトリを作成できます gLite上のホームディレクトリを設定できます 環境変数LFC_HOMEを設定するとlfc-lsコマンドを引数なしで実行するとlfc-ls ${LFC_HOME}と同義となります $ lfc-mkdir ディレクトリ名 $ export LFC_HOME=ディレクトリ名 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 データ操作（4/4） ファイルのアップロード（lcg-cr コマンド） ファイルのダウンロード（lcg-cp コマンド） カタログの削除（lcg-del コマンド） $ lcg-cr --vo VO名 -d SEのFQDN -l lfn:論理名 file:アップロードするファイルの絶対パス 例：$ lcg-cr --vo ilc -d rls06.cc.kek.jp -l lfn:/grid/ilc/user/hosts file:/etc/hosts $ lcg-cp --vo VO名 lfn:論理名 file:ダウンロードするファイルの絶対パス 例： $ lcg-cp --vo ilc lfn:/grid/ilc/user/hosts file:/home/user/hosts $ lcg-del --vo VO名 -a lfn:論理名 例： $ lcg-del --vo ilc -a lfn:/grid/ilc/user/hosts 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 グリッド情報取得（1/2） ジョブ投入やデータ操作コマンドへの引数として必要となる利用可能なCEやSEの情報を取得します 情報の方法（lcg-infosites コマンド） CEの情報を取得する場合 $ lcg-infosites --vo ilc ce valor del bdii: rls04.cc.kek.jp:2170 #CPU Free Total Jobs Running Waiting ComputingElement ---------------------------------------------------------- 46 38 0 0 0 rls02.cc.kek.jp:2119/jobmanager-lcgpbs-ilc 1038 522 0 0 0 lcgce01.gridpp.rl.ac.uk:2119/jobmanager-lcgpbs-S 1038 522 0 0 0 lcgce01.gridpp.rl.ac.uk:2119/jobmanager-lcgpbs-ilcL 参照したいVO名を入力します（ex. ilc, atlas） CEのサーバ名/ジョブマネージャ名 現時点で利用できる各CE配下のCPU数 各CE配下のCPU数 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 グリッド情報取得（2/2） 情報の方法（lcg-infosites コマンド）（続き） SEの情報を取得する場合 $ lcg-infosites --vo ilc se Avail Space(Kb) Used Space(Kb) Type SEs ---------------------------------------------------------- 1600000000 1140000000 n.a rls06.cc.kek.jp 102249365 2610283 n.a dcache.gridpp.rl.ac.uk 参照したいVO名を入力します（ex. ilc, atlas） SEのサーバ名 各SE配下の現時点で利用されているストレージ容量 各SE配下の現時点でデータを書き込めるストレージ容量 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
補足：gLite UIコンポーネントの導入方法
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 導入の流れ rootユーザにてすべての作業を実施ください OSのインストール Javaのインストール 時刻の設定 YAIMのインストール コンフィグレーションファイルの配置 gLiteコンポーネントのインストール ホスト証明書の配置 コンフィグレーションコマンドの実行 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 導入方法詳細（1/3） OSのインストール Scientific Linuxのバージョン3をインストール 導入するコンポーネントの選択はデフォルトで問題ありません Javaのインストール j2sdkのバージョン1.4.xをインストールしてください 最新バージョンは以下のサイトからダウンロードできます http://java.sun.com/j2se/1.4.2/download.html 時刻の設定 NTPの時刻同期を設定してください 基準時刻をgLite用標準時刻であるUTCに設定します 下記例のようにタイムゾーンの設定を無効化します # mv /etc/localtime /etc/localtime.orig 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 導入方法詳細（2/3） YAIMのインストール 以下のサイトからYAIMの最新バージョンのパッケージをダウンロードし、インストールしてください http://grid-deployment.web.cern.ch/grid-deployment/gis/yaim/ ※ 2006/10/30時点での最新バージョンはglite-yaim-3.0.0-22.noarch.rpm コンフィグレーションファイルの配置 コンフィグレーションファイル（site-info.def）を配置します どのディレクトリに配置しても問題ありません 本説明では/opt/glite/yaim/etcディレクトリを作成し、そこに配置します 後続の説明では、適宜ディレクトリ名を置換ください site-info.defは後ほどメールでお送りいたします 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 導入方法詳細（3/3） gLiteコンポーネントのインストール ホスト証明書の配置 ホスト用の証明書を取得し、/etc/grid-security に配置します KEK CAの証明書取得方法は参考資料【5】を参照ください コンフィグレーションコマンドの実行 再起動後、grid-proxy-initコマンド等で稼動確認ください # /opt/glite/yaim/scripts/install_node /opt/glite/yaim/etc/site-info.def glte-UI （色々なコンポーネントがインストールされる様子が出力されます） （このコマンドの実行の完了までにはある程度の時間を要します） # /opt/glite/yaim/scripts/configure_node /opt/glite/yaim/etc/site-info.def glte-UI （コンポーネントのコンフィグレーション状況が出力されます） （このコマンドの実行の完了までにはある程度の時間を要します） 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料
参考資料
高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料 参考資料 【1】 EGEE gLite 3.0 公式サイト http://glite.web.cern.ch/glite/packages/R3.0/ 【2】 gLite 3.0 Documentation一覧サイト http://glite.web.cern.ch/glite/documentation/ 【3】 gLite 3.0 ユーザガイド https://edms.cern.ch/file/722398//gLite-3-UserGuide.pdf 【4】 gLite 3.0 インストールマニュアル http://grid-deployment.web.cern.ch/grid-deployment/documentation/LCG2-Manual-Install/ 【5】 KEK GRID CA https://gridca.kek.jp/ 【6】 ATLAS日本グループLCG勉強会資料 http://www.icepp.s.u-tokyo.ac.jp/~sakamoto/education/atlasj/lcg/ 2006/11/1 高エネルギー加速器研究機構 ILCグループ様向け gLite説明会資料