アトラス実験における データ解析用グリッド環境の構築

Presentation on theme: "アトラス実験における データ解析用グリッド環境の構築"— Presentation transcript:

1 アトラス実験における データ解析用グリッド環境の構築
田中純一、坂本宏、小林富雄、川本辰男、 真下哲郎、上田郁夫、石野雅也、松本浩、 渡瀬芳行A 、川端節彌A 、森田洋平A 、 真鍋篤A 、佐々木節A 、佐藤博之A 東大素セ、高エ研A 日本物理学会 30 Mar, 2003

2 内容 概要 グリッドとは? Data Challenge 1とは? ICEPPー北欧間 グリッドテスト環境の構築
Globusとは? NorduGridとは? Data Challenge 1とは? ICEPPー北欧間 グリッドテスト環境の構築 ICEPPーKEK間 グリッドテスト環境の構築 まとめと予定 日本物理学会 30 Mar, 2003

3 概要 ～ 世界規模 世界規模では、 ICEPPにアトラス実験用の大きな地域解析センター（RC）を作る。
この環境でデータ解析も行うことができる。 日本物理学会 30 Mar, 2003

4 概要 ～ 日本では? SuperSINETを利用した解析環境をグリッドで構築できないか?
地域解析センターに保存されているデータへのアクセスが容易。 日本物理学会 30 Mar, 2003

5 グリッド技術 グリッドとは? しかし、電力と同様に、
計算機を接続するだけで、いつでもどこでも必要な 計算機リソースが取り出せるようなイメージ 電力（Power Grid）からの発想。 しかし、電力と同様に、 十分な設備 契約が必要  ネットワークの充実、 実現のためのソフトの開発  認証と許可（認可） 日本物理学会 30 Mar, 2003

6 Globusとは? Globus ≠ Grid グリッドのソフトを開発/構築するときに用いられるツールキット。
グリッドのソフトを開発/構築するときに用いられるツールキット。 これですべてができるわけではない。 どういうわけが、デファクトスタンダードになってしまった。 バグ、メモリリークの多いソフトだが…。 セキュリティを重視した構成になっている。 今年6月、バージョン3のリリースが予定されている。 IBMが協力。OGSA=Open Grid Service Architecture 現行のバージョン2.2との互換性あり。 Globus ≠ Grid 日本物理学会 30 Mar, 2003

7 NorduGridとは? 北欧4国 （デンマーク、ノルウェー、スウェーデン、フィンランド） からなるグループが開発したミドルウェア。
北欧4国 （デンマーク、ノルウェー、スウェーデン、フィンランド） からなるグループが開発したミドルウェア。 運用中のクラスタや使用中のソフトウェアへの影響を最小限に抑えることをポリシーにしている。 構成がシンプル。 ”Worldwide バッチシステム” とりあえず、外部者でも利用できる。 インストールが比較的簡単。 サポートがしっかりしている。（ML） 日本物理学会 30 Mar, 2003

8 Data Challengeとは? ペタバイト級のデータを取り扱うことのできるオフライン環境を開発するために、その時点の最新の環境で大量のMCデータを生成・管理するテストを行うプロジェクトのこと。 徐々に生成・管理データを増加させる。DC4 at 2006 DC2=DC1(~60TB,done)、DC3=DC1x5、DC4=DC1x10>0.6PB DC1では、北欧とUSが独自のグリッド環境を構築して担当分のデータを生成した。 その他のサイトは非グリッド環境、つまり、LSFやPBS等。 DC2では、世界規模のグリッド環境でデータを生成する予定。LCG（LHC Computing Grid）-0/1を採用する予定。 日本物理学会 30 Mar, 2003

9 北欧との接続テスト 距離的には十分離れてる地域間の接続テスト！ ICEPPに1台、KEKに1台の計算機を設置。
すべて広域ネットワークで接続。 “SuperSINET” 日本物理学会 30 Mar, 2003

10 ICEPPの計算機で 1ジョブ実行されている。 KEKの計算機で 2ジョブが準備中。
グリッドモニター ICEPPの計算機で 1ジョブ実行されている。 KEKの計算機で 2ジョブが準備中。 “ 日本物理学会 30 Mar, 2003

11 北欧からのジョブサブミッション 時差9時間 北欧ユーザーのMC生成ジョブ 北欧のCAで認証を受け、 ICEPPの計算機で許可を受けたユーザー
日本物理学会 30 Mar, 2003

12 Data Challenge 1 北欧に割り当てられた300ジョブのうち、実際に1つだけICEPPで実行することができた。
日本物理学会 30 Mar, 2003

13 ICEPP-KEK グリッドテスト環境構築
北欧から独立したグリッド環境の構築。 1Gbps専用線での環境。  将来は広域ネットワークで。セキュリティ問題が必至。 KEK側の階層ストレージ HPSSをグリッド環境で利用した。 GridFTP (アルゴンヌ研究所) … HPSSサーバーコードの改変等の問題。 GSI-pftp (LBL) … これをインストール。NorduGridのコードも数行変更。 グリッド環境で解析を行った。 MCデータの生成 （Fast simulation） 解析 PAW : バッチモード （“paw –b”）でも可能。 コンパイル済みの実行形式での実行は容易。 例）ROOT I/Oを利用した実行形式 日本物理学会 30 Mar, 2003

14 接続環境 ICEPP KEK HPSS 120TB ~ 60km 6CPUs 38CPUs GSI pftp server 0.2TB SE
NorduGrid - grid-manager - gridftp-server Globus-mds Globus-replica PBS server ICEPP KEK SE HPSS 120TB CE SE 0.2TB ~ 60km NorduGrid - grid-manager - gridftp-server Globus-mds PBS server CE 6CPUs CE 38CPUs PBS clients PBS clients 1Gbps 100Mbps User PCs 日本物理学会 30 Mar, 2003

15 HPSS “get” with Tape Library
ベンチマークの一例（CHEP2003, A. Manabe 他） Data in Tape Data in disk cache 日本物理学会 30 Mar, 2003

16 MCデータ生成 データ転送に失敗することがある。 100ジョブ~107イベント以上 調査中 Replica Catalog（LDAP）
日本物理学会 30 Mar, 2003

17 まとめと予定 1/2 アトラス実験の地域解析センターのためのグリッドテスト環境を日本ー北欧間で構築した。
Data Challengeにも微少ながら参加できた。 安定バージョンにアップデートして、今後も北欧担当分のData Challengeに参加する。 世界規模の長距離接続での安定性の追及 LCG（LHC Computing Grid）のパッケージをインストールし、運用テストを開始する（4/15より）。 事実上、これがデータプロダクションの世界標準になる。 日本物理学会 30 Mar, 2003

18 今後、このモデルがデータ解析に適切かどうか?
まとめと予定 2/2 国内の解析環境をグリッドで構築するためのテスト環境をICEPP－KEK間で構築した。 MCデータ生成のテストを開始した。 データ転送を失敗することがある。調査中 生成データ・ログはReplica Catalogに登録。 グリッド環境でKEKのHPSSを利用できた。  広域で使用する場合は、セキュリティ問題が必須。 生成データを用いたPAW（paw –b）での解析も行った。 今後、このモデルがデータ解析に適切かどうか? を詳細に検討する必要がある。 日本物理学会 30 Mar, 2003