「計算科学による素粒子・原子核・宇宙の融合」

Presentation on theme: "「計算科学による素粒子・原子核・宇宙の融合」"— Presentation transcript:

1 「計算科学による素粒子・原子核・宇宙の融合」
JLDG　(A04) JLDG: 計算素粒子物理（格子ＱＣＤ）の為の　データグリッド　Japan Lattice Data Grid JLDG 開発の動機と経緯 JLDG システムとその利用 データグリッドの将来 筑波大学計算科学研究センター 　　吉江友照 ワークショップ 「計算科学による素粒子・原子核・宇宙の融合」 2008年12月1日

2 JLDG開発の動機と経緯 計算素粒子物理のデータとその共有 計算素粒子物理のデータグリッド
基礎データ：ＱＣＤ配位 (QCD configuration) 生成に膨大な計算機資源を必要とする 生成されたデータは貴重：QCD配位を用いて素粒子の色々な性質を研究できる（データの解析） 複数の研究機関に所属する複数の研究者の共同研究 複数の研究機関のスーパーコンピュータを活用して基礎データを生成、基礎データを共有し共同で解析 データのネットワーク上での共有からデータグリッドへ 計算素粒子物理のデータグリッド 複数機関のスパコンを駆使して行う共同研究を支援 国内の研究グループ内でのデータ共有 Japan Lattice Data Grid (JLDG) 格子QCDコミュニティ全体の研究促進 世界規模での配位データ共有 International Lattice Data Grid (ILDG) 2007年完成・運用開始　

3 JLDG 以前のデータ共有 hepnet-J/sc 2002 (NII SINET GbE 専用線採用）~ 目的：広域分散型ファイルシステム
バックボーン：　Super SINET VPN (KEK, 筑波, 京都, 大阪, 広島 金沢） 戦略：管理体制の異なる機関でセキュリティを維持しつつデータを共有：各拠点のスパコンに接続したファイルサーバ間で、管理者権限でファイルをミラー 有効に機能　(CP-PACS/JLQCD, KEK大型シミュレーション） CP-PACS SR8000 CCP @Tsukuba CRC @ KEK File Server File Server Hepnet-J/sc YITP @Kyoto File Server File Server RCNP @Osaka SX-5 SX-5

4 問題の顕在化 必要な機能 JLDG の開発 データの所在の管理コストが増大 ユーザー・グループの概念がない
ひとまとまりのデータが複数のディスクに分散してしまう ユーザーは、データの所在・ミラー先を覚えきれない ユーザー・グループの概念がない 複数の研究グループのサポートに難 必要な機能 スペースの制限がない（後で追加可能な）フラットなデータ共有システム 組織をまたがるユーザー管理 JLDG の開発 システム設計・設置：筑波大計算機工学者＋日立製作所 NII CSI 予算 2005/11 開始、2007/03 完成、2008/05 実運用開始

5 JLDGシステムとその利用状況 ・・・・ ・・・・ http://www.jldg.org/ SINET VPN Tsukuba KEK
Gfarm（AIST, Tsukuba）: global file system　(fault tolerant, replica) VOMS (EDG)： virtual organization management Naregi-CA ： user certification Globus Toolkit (ANL) : GSI- GridFTP uberftp (NCSA): interactive GridFTP client SINET VPN ・・・・ Tsukuba KEK Grid-FTPクライアントに ログインし、自サイト サーバに接続 6TB Gfarm server 6TB Gfarm server グリッドのどこからでも ファイルを転送 ユーザーはファイルの 所在を知る必要なし ・・・・ metadata server VOMS server LAN gftp client super computer file server NFS mount Internet

6 接続機関・コアメンバ ディスク容量 35TB + 100TB(hepnet-J/sc) 筑波大学・ 計算科学研究センター 宇川彰、佐藤三久、
　　計算科学研究センター 　　　宇川彰、佐藤三久、 　　　建部修見、石井理修、 　　　吉江友照 KEK･ 計算科学センター 　　　松古栄夫 京都大学 基礎物理学研究所 　　　大野木哲也 大阪大学・ 核物理研究センター 　　　外川浩章 広島大学・ 理学部・物理学科 　　　石川健一 金沢大学・ 自然科学研究科 　　　出渕卓 ディスク容量 35TB 　　　　　　　+ 100TB(hepnet-J/sc)

7 JLDG と ILDG 5つの地域グリッドを束ねた Grid of Grids

8 JLDG の利用 データのグループ内での共有 データの一般公開
可能であるが、まだ運用していない　（ユーザー毎のファイルアクセス権設定機能が未完であるため） 2008年度中に開始したい データの一般公開 CP-PACS, CP-PACS/JLQCD Nf=2, Nf=2+1 QCD 配位 　　４２セット、29Kファイル、7.5TB x 2 データへのアクセス JLDG 内からは uberftp ILDG 外からは　ildg-get (gsiftp) 又は　http ユーザー数 (Lattice QCD Archive 含む) JLDG 内 14, ILDG経由 93, http 経由 189

9 データグリッドの将来 データグリッド ファイルシステム 他分野での活用
現在、JLDG は主に、データを計算素粒子物理研究者一般に公開するために使われている。近い将来、JLDG を日常の研究のインフラとして利用したい。 ファイルシステム 現在、JLDG はスパコンから直接アクセス（読み書き）できない。技術的に問題があるわけではなく、セキュリティポリシーの問題。将来これを解決して、スパコンから事実上無限のディスクスペースをあたかもローカルなファイルシステムであるかの様なパーフォーマンスで使えるシステムに発展させたい。 他分野での活用 JLDGシステムは格子QCDデータに特化したシステムではない。ニーズがあればどの分野でも似たシステムを構築できる。