核融合研究グリッドへ向けたITBLの適用

Presentation on theme: "核融合研究グリッドへ向けたITBLの適用"— Presentation transcript:

0 「核融合実験のデータ処理に関する次世代システム技術の検討」
核融合研究グリッドへのITBLの適用 「核融合実験のデータ処理に関する次世代システム技術の検討」 研究会 日本原子力研究所の鈴木です。 原子力研究におけるビジュアリゼーショングリッドというタイトルで 話をさせていただきます。 鈴木喜雄1),2) 日本原子力研究開発機構 システム計算科学センター 高度計算機技術開発室 日本原子力研究開発機構 那珂核融合研究所 核融合研究開発部門 先進プラズマ研究開発ユニット プラズマ理論シミュレーショングループ

1 核融合研究グリッドへ向けたITBLの適用
[目標] ITERなど大規模実験施設に対する遠隔協調研究環境の構築 [核融合研究グリッド] 遠隔実験、遠隔解析、遠隔シミュレーションの統合 [必要と考えられる機能] 実験条件設定、実験状況モニタリング、実験結果表示 データベース ITER、LHD、JT-60など データ解析 解析ツール、可視化など 予測シミュレーション ダイバータ、輸送、MHD、構造、乱流・・ TV会議システム アウトラインについて示します。 まず、グリッドについて簡単にお話させていただき、 次にITBLプロジェクトの概要についてお話させていだきます。 次にITBLプロジェクトにおいて日本原子力研究所が開発を進めている ITBLシステム基盤ソフトウェアについてお話させていただき、 その上に実装されている可視化ツールについてお話させていただきます。 最後にまとめと今後の課題について述べます。 グリッド技術を活用して実現を目指す

2 なぜグリッドが必要？ グリッドはインターネット上での安全性と利便性を向上 安全性・・・ 利便性・・・ 盗聴・改ざん・なりすましへの対応
FWとの共存 遠隔コミュニケーション、分散計算資源利用・・ Internet ITBLはInformation-Technology-Based Laboratoryの略です。 プロジェクトの目的は、 大学や研究機関に分散された計算機・プログラム・データ等の知的資源を共有し、 研究者間の共同研究を支援するための仮想研究環境の構築です。 解決策の一つとしてITBLを利用

3 ITBLとは [目的] 大学や研究機関に分散された計算機・プログラム・データ等の 知的資源を共有 研究者間の共同研究を支援
　　知的資源を共有 研究者間の共同研究を支援 するための仮想研究環境の構築 ITBL：Information Technology Based Laboratory e-Japan重点計画の103の計画の中のひとつ アウトラインについて示します。 まず、グリッドについて簡単にお話させていただき、 次にITBLプロジェクトの概要についてお話させていだきます。 次にITBLプロジェクトにおいて日本原子力研究所が開発を進めている ITBLシステム基盤ソフトウェアについてお話させていただき、 その上に実装されている可視化ツールについてお話させていただきます。 最後にまとめと今後の課題について述べます。 ：ITBL基盤ソフトウェア開発 ：アプリケーション開発、利用支援

4 ITBLにおける安全性向上 シングルサインオンによる全計算機への等価なアクセス 電子証明書による認証
STARPC(HTTPSカプセル化)によるFWと共存した暗号化通信 電子証明書による 相互認証 証明書とユーザID 関連付け 利用者 ITBLサーバ 計算機 FW サイト(研究機関) 443ポートのみ使用 暗号化通信 サーバ相互認証 暗号化通信 FW ITBLサーバ サイト(研究機関)

5 ITBLにおける利便性向上 -遠隔コミュニケーション-
協調環境　(研究コミュニティの形成) TV会議 掲示板 キャビネット 協調可視化 ITBLシステム基盤ソフトウェアの概要としては、 利用者端末のWeb上から研究機関や大学の計算機を一括利用が可能、 Webを用いて研究コミュニティを形成可能、 Firewallを越えて様々なデータ転送が行える通信機能を実現 などがあります。 基盤ソフトウェアではFirewall越しにインターネットで接続されたサイトを単位としており、 サイト内の計算機を接続するためにITBLサーバが導入されています。

6 ITBLにおける利便性向上 -分散計算資源利用-
分散スーパーコンピューティング 高スループットコンピューティング デスクトップスーパーコンピューティング 　 (PCとスパコン間のバリアフリー化) FW越えRPC、異機種間MPI通信 資源管理 ウェブ&XのUI、ビジュアルワークフロー ファイルマネージャー FW ITBLシステム基盤ソフトウェアの概要としては、 利用者端末のWeb上から研究機関や大学の計算機を一括利用が可能、 Webを用いて研究コミュニティを形成可能、 Firewallを越えて様々なデータ転送が行える通信機能を実現 などがあります。 基盤ソフトウェアではFirewall越しにインターネットで接続されたサイトを単位としており、 サイト内の計算機を接続するためにITBLサーバが導入されています。 構造計算&流体計算連成 FW 構造計算 構造計算 流体計算 流体計算

7 78機関（600ユーザー）、 27計算機（20機種、約57TFlops ）
ITBLグリッド環境 材料設計統合 ﾌﾟﾗｯﾄﾌｫｰﾑ 分散ﾃﾞｰﾀﾍﾞｰｽ統合ｼｽﾃﾑ 実大三次元 振動破壊実験 ｼﾐｭﾚｰｼｮﾝｼｽﾃﾑ 航空宇宙統合 ｼﾐｭﾚｰｼｮﾝｼｽﾃﾑ 細胞フル ｼﾐｭﾚｰｼｮﾝｼｽﾃﾑ 生命機能情報 解析ｼｽﾃﾑ 地域数値環境 ｼｽﾃﾑ 　　　　　　共同実施者（サイト） 東京大学生産技術研究所 東北大学金属材料研究所 東北大学災害制御研究センター 京都大学大学院工学研究科 北陸先端科学技術大学院大学 シュツットガルト大学（UNICORE連携） 協定締結者 物質･材料研究機構 宇宙航空研究開発機構 防災科学技術研究所 日本原子力研究開発機構 (東海地区・関西地区・東京地区) 理化学研究所 科学技術振興機構 基幹アプリ ケーション 12000GFlops SX-8 WAN 1500GFlops 12400GFlops - 32GFlops SC/EX40 PC cluster SV1EX 1GFlops Super SINET (10Gbps) SINET(1Gbps) pSeries610 440(SPEC fp2000 X 2 9.6GFlops - 83GFlops H9000V SR2201 Origin3200 pSeries690 5440GFlops 790GFlops 720GFlops 282GFlops 96GFlops 8GFlops 9300GFlops 1000GFlops 21GFLOPS 5GFLops 135GFlops 19GFlops 13100GFlops 334GFlops 8GFlops - SR11000 SR800 SX-7 SX-6 SX-6i PrimePower VPP5000 Altix3900 Altix3700 Onyx300 Origin2000 78機関（600ユーザー）、 27計算機（20機種、約57TFlops ）

8 核融合研究グリッド実現に向けた現在の活動
遠隔実験：JT-60遠隔実験操作システム => 条件設定、状況モニタリング、TV会議システム支援など (那珂核融合研究所) 遠隔解析：燃焼プラズマ統合コード、統合解析システム => シミュレーション・解析実行の最適化 (那珂研、九州大学、京都大学、山口大学、核融合科学研究所等) 遠隔シミュレーション：大規模データの遠隔・高速可視化 => 可視化処理の並列化 (那珂研/ORNL) グリッド技術開発：グリッド環境の国際展開 => グリッド環境の相互接続 (HLRS(独)/IRIT(仏)/CEA(仏：進行中)) アウトラインについて示します。 まず、グリッドについて簡単にお話させていただき、 次にITBLプロジェクトの概要についてお話させていだきます。 次にITBLプロジェクトにおいて日本原子力研究所が開発を進めている ITBLシステム基盤ソフトウェアについてお話させていただき、 その上に実装されている可視化ツールについてお話させていただきます。 最後にまとめと今後の課題について述べます。

9 JT-60遠隔実験操作システム 【遠隔実験サーバ】 【JT-60放電条件サーバ及びマン・マシンＷＳ】 【J T-60放電制御
計算機システム】 ① ＮＦＳ ④ 保存ファイル(FS) 実行ファイル(FES) 実行条件 ファイル 放電条件作成 放電条件サーバ上のFA,FES,FSを読込 実行　 ・ ・ ・ ・ 放電条件 ・ ・ 放電条件 ・ ・ 読込 書込 ② ファイル ファイル 保存ファイル(FU) 読込 書込 登録 実績ファイル(FA) ③ ＮＦＳ ・ ・ 遠隔実験サーバ上のFUを書込 放電条件作成 読込 ・ 放電完了後保存 放電条件 ・ ・ ・ 放電条件 ・ ・ 放電シーケンス実行 ファイル ファイル 放電結果データ表示 x window x window ⑤ ＴＣＰ／ＩＰ JT-60実験データベース ・ データベース ファイル 放電完了後保存 ・ ・ 結果データ ファイル ・ ・ 【JT-60実験データベースサーバ】 アプリケーション NFSまたはローカル ファイルコピー ファイル TCP/IP 【遠隔サイトにおける表示画面】 システム ① 共同研究者は、遠隔実験サーバの放電条件設定機能を利用して、放電条件サーバのFA、FES、FSを読み込み、放電条件を修正・変更 ② 修正・変更後、遠隔実験サーバの保存ファイル(FU)に任意ファイル名称で格納 ③ JT-60中央制御室において、FUに登録された放電条件をマン・マシンWSを用いて読み込み(実験主任)、設備状態検査等を実行、FESに登録 ④ FESに登録された放電条件にサイン(実験主任)、承認(運転責任者)を施し、放電が実行 ⑤ 共同研究者は、遠隔実験サーバの放電結果データ表示機能等を利用して、実行結果を表示・確認し、次の放電条件を設定

10 JT-60遠隔操作システムでのITBLの利用
ITBLのX機能利用、APIを利用したアプリケーション構築(進行中) FWと共存した安全な通信を用いてX windowを表示する 研究サイト 那珂研究所 PC端末 遠隔実験 サーバ JT-60放電 条件サーバ 条件設定 状況モニタリング 結果表示 FW 条件 ファイル 実行条件 条件認可 運転制御 ITBL ユーザ認証

11 TV会議システム FWと共存した安全な通信を用いてTV会議を行う 研究サイト 研究サイト FW FW PC端末 PC端末 ITBL サーバ
アウトラインについて示します。 まず、グリッドについて簡単にお話させていただき、 次にITBLプロジェクトの概要についてお話させていだきます。 次にITBLプロジェクトにおいて日本原子力研究所が開発を進めている ITBLシステム基盤ソフトウェアについてお話させていただき、 その上に実装されている可視化ツールについてお話させていただきます。 最後にまとめと今後の課題について述べます。 FW FW PC端末 PC端末 ITBL サーバ ITBL サーバ 研究サイト 研究サイト

12 統合解析システムの構築に向けて 解析システムにITBLのTME(Task Mapping Editor)機能を適用 複数の計算機を用いた解析シナリオを定義・実行可能 ITBLクライアントAPIを利用した ユーザーインターフェース 統合解析スクリプト(TMEで記述) (2) ジョブの実行 既存インターフェース (1) ジョブパラメータ 　　の作成 (3) 解析結果の 　　可視化表示

13 大規模データの遠隔・高速可視化 -AVS/ITBL-
可視化処理の並列化による高速化の実現 可視化処理フロー 性能評価(例) ＜可視化処理時間のCPU依存性評価＞ データ：核融合装置内部の乱流シミュレーション 　　　　(データ提供：那珂核融合研究所) サイズ：１GBytes (1/4トーラス) 計算機：東海地区 SGI Prism 並列データ 読込 並列等値面 計算 合計で評価 描画 並列化により 約20倍の高速化を実現 (63CPU使用時) 可視化画像 SGI Prism

14 ITBLの国際展開 国際的な遠隔協調研究環境の構築
グリッド環境の国際展開 原子力分野における 大規模可視化の研究 2006～ 原子力分野における 計算科学研究開発 2006～ グリッドと高効率 ソルバーの利活用 2005～ 独グリッド(D-GRID) との相互運用 1999～ MpCCIを使った連成 シミュレーション 1998～ ORNL 米国 CEA 仏 IRIT 仏 HLRS 独 Fraunhofer SCAI 独 EUとの共同研究 USAとの共同研究 CCSE/JAEA ITBLの国際展開　　　国際的な遠隔協調研究環境の構築

15 独HLRSのSX-8とITBLの計算機群を
UNICOREとITBLの相互接続 ※ UNICORE・・EUで広く利用されているグリッドミドルウェア UNICORE ITBL 独HLRSのSX-8とITBLの計算機群を 相互に利用可能 Internet SX-8／HLRS 27Computers／ITBL

16 グリッド環境の国際展開 レイヤー テクノロジー 貢献 アプリケーション 核融合 原子炉 利活用技術 グリッド技術 … … 実験施設 遠隔実験
遠隔解析 遠隔シミュレーション 利活用技術 条件設定 状況モニタリング TV会議 システム統合 データ転送 データベース共有 資源効率利用 遠隔・高速可視化 現象予測 JAEA 他機関 CCSE 共通インターフェース グリッド技術 Globus Tool Kit ITBL UNICORE EGEE …

17 まとめ [最終目標] ITERにおける遠隔協調研究環境の構築 遠隔実験、遠隔解析、遠隔シミュレーションの統合 ITER 実験解析 JT-60
TV会議 アウトラインについて示します。 まず、グリッドについて簡単にお話させていただき、 次にITBLプロジェクトの概要についてお話させていだきます。 次にITBLプロジェクトにおいて日本原子力研究所が開発を進めている ITBLシステム基盤ソフトウェアについてお話させていただき、 その上に実装されている可視化ツールについてお話させていただきます。 最後にまとめと今後の課題について述べます。 TV会議 設計・建築 LHD シミュレーション