Data Grid Mini WorkShop

Presentation on theme: "Data Grid Mini WorkShop"— Presentation transcript:

1 Data Grid Mini WorkShop
2018/9/22 天文GRID JVOプロジェクト 国立天文台　　大石雅寿 2018/9/22 Data Grid Mini WorkShop

2 Data Grid Mini WorkShop
共同研究者 国立天文台 水本好彦 安田直樹 白崎裕治 田中昌宏 お茶の水女子大 増永良文 富士通株式会社 門前弘邦 瓦井健二 石原康秀 谷中洋司 山口　靖 石田みつてる 齋藤紀男 2018/9/22 Data Grid Mini WorkShop

3 Data Grid Mini WorkShop
すばる望遠鏡 2018/9/22 Data Grid Mini WorkShop

4 Data Grid Mini WorkShop
2018/9/22 Data Grid Mini WorkShop

5 Data Grid Mini WorkShop
2018/9/22 Data Grid Mini WorkShop

6 Data Grid Mini WorkShop
2018/9/22 Data Grid Mini WorkShop

7 Data Grid Mini WorkShop
データベース化は現代天文学の常識 2018/9/22 Data Grid Mini WorkShop

8 Data Grid Mini WorkShop
ALMA 2018/9/22 Data Grid Mini WorkShop

9 Time and Spectral Dimensions The Multiwavelength Crab Nebulae
Crab star 1053 AD X-ray, optical, infrared, and radio views of the nearby Crab Nebula, which is now in a state of chaotic expansion after a supernova explosion first sighted in 1054 A.D. by Chinese Astronomers. 2018/9/22 Data Grid Mini WorkShop Slide courtesy of Robert CalTech.

10 Data Grid Mini WorkShop
現代天文学の要請 宇宙開闢直後の物理 銀河形成の謎 大規模構造形成の謎 宇宙の平均密度の決定 etc. →　均質なサーベイデータを用いた統計的処理が必須 2018/9/22 Data Grid Mini WorkShop

11 Data Grid Mini WorkShop
天文学者の欲求 感度を上げたい! たくさんのデータを取りたい! 広い領域を見たい! 多波長で見ないと正しい宇宙像は得られないぞ! 2018/9/22 Data Grid Mini WorkShop

12 Data Grid Mini WorkShop
大型望遠鏡による観測データ 野辺山電波望遠鏡：~1TB/yr すばる望遠鏡　　　 ：~20TB/yr ALMA（予定）　　　　：~PB/yr 良質なデータ（特にサーベイデータ）の洪水 ディジタル化・アーカイブ化されている 2018/9/22 Data Grid Mini WorkShop

13 Data Grid Mini WorkShop
Archiveを用いた天文学研究 large fraction of astro-papers based on archives HST archive use growing faster than archive Already more retrieval than ingest! graphics from US NVO project 2018/9/22 Data Grid Mini WorkShop

14 Data Grid Mini WorkShop
既存DBの問題点 URLを知らないとアクセスできない FITSヘッダの内容が統一されていない 各波長に対応した様々な解析ソフト 　　→他波長のデータへのアクセスの障壁 較正済みデータとは限らない 　　→較正には観測装置の癖を知らなくてはならない 2018/9/22 Data Grid Mini WorkShop

15 Data Grid Mini WorkShop
データ処理する人間の意識 それほどは変わらない 従来の方法では処理しきれないデータ →なんとかならないか 2018/9/22 Data Grid Mini WorkShop

16 Data Grid Mini WorkShop
計算機環境の激変により・・・ 高性能計算機資源が高速ネットワークで接続 　→遠隔地の計算機資源をあたかもローカ ル計算機のように利用することが可能 　→単細胞生物から多細胞生物への進化に 対応 2018/9/22 Data Grid Mini WorkShop

17 Data Grid Mini WorkShop
計算機利用パラダイムの転換 高度化した計算機環境＋情報処理技術 　　を組み合わせることによって可能になる 　　新たな天文研究スタイルを確立しよう 2018/9/22 Data Grid Mini WorkShop

18 Japanese Virtual Observatory
分散DBによるDigital Universeの構築 多波長データを統合したDB基盤を開発 大量データに対する統計的処理による新しいスタイルの天文学研究環境の確立 2018/9/22 Data Grid Mini WorkShop

19 Data Grid Mini WorkShop
JVO Home Page 2018/9/22 Data Grid Mini WorkShop

20 Data Grid Mini WorkShop
Digital Universe Data Cube Dec. λ/Freq. 数値宇宙 R.A. + Time 望遠鏡による観測データ 実宇宙 2018/9/22 Data Grid Mini WorkShop

21 Virtual Telescope/Observatory
Digital Universeを観測し，そのデータを 解析・処理することにより天文学的知見を生み出す抽象化された観測装置 いつでも，どこからでも，天候などに左右されずに観測することができる 2018/9/22 Data Grid Mini WorkShop

22 Data Grid Mini WorkShop
アイデア 観 測 検 索 データ 解 析 研究発表 実望遠鏡での 観測 仮想望遠鏡での 2018/9/22 Data Grid Mini WorkShop

23 Data Grid Mini WorkShop
2018/9/22 Data Grid Mini WorkShop

24 Data Grid Mini WorkShop
検索でデータが見つからない →　VOが，「観測手順書」を作成し，実望遠鏡の制御システムに渡す →　「手順書」が承認されれば，実観測 →　観測データを取得 →　VOに登録 　　VOは，成長する観測装置! 2018/9/22 Data Grid Mini WorkShop

25 Data Grid Mini WorkShop
JVOの必要機能 （内部）データフォーマットの共通化 異なるDBを統一的に検索 多様なデータ解析機能 マイニングなどの高度な解析機能 実望遠鏡との連携機能 VO内データの品質保証のために必須 2018/9/22 Data Grid Mini WorkShop

26 Data Grid Mini WorkShop
データは原則として移動させない（負荷が高すぎる） 必要なモジュールを移動させる 結果を手元に持ってくる 結果をうまく可視化することが重要 2018/9/22 Data Grid Mini WorkShop

27 Data Grid Mini WorkShop
DBの配置 観測データは，望遠鏡（観測所）におかれることが望ましい 　　←→　DBの内容を保証 多波長データを利用するためには，必然的に，分散データベースとなる 　　←→　異なるDBMSを用いた環境 2018/9/22 Data Grid Mini WorkShop

28 Data Grid Mini WorkShop
プロトタイプ（初版）の作成 まずは，分散DBへの透過的アクセス法を確立する｡ 検索言語(JVO Query Language)の動作確認 閉じたサブネット内で実装 2018/9/22 Data Grid Mini WorkShop

29 Data Grid Mini WorkShop
プロトタイプで対象とする 観測データ Subaru SuprimeCAM Sloan Digital Sky Survey (SDSS) 2μm All Sky Survey (2MASS) これらを用いて構想した枠組みの実効性を示す →　その後対象データを拡大する 2018/9/22 Data Grid Mini WorkShop

30 Data Grid Mini WorkShop
JVOプロトタイプ概念設計案 　JVOプロトタイプは Subaru, SDSS, 2MASS の DB に直接接続する。 　他のVOとの接続はプロトタイプではサポートしないが、Subaru DB等への接続と同様の方法で接続可能なように設計する。 　検索で頻繁に使われるデータはJVO内部にコピーとして持つ必要はないか。 　JVO に直接接続するDBは　RDB または OODB で構築する。 　検索結果はキャッシュされ、効率良く絞り込み検索などが行える。 検索指示 検索結果 Subaru DB JVO 検索 データ解析 検索指示 検索結果 検索結果 解析結果 画像表示 SDSS DB User 検索指示 検索結果 検索指示 検索結果 検索指示 検索結果 2MASS DB Registry 2018/9/22 Data Grid Mini WorkShop 他のVO(NVO,AVO,etc)

31 Data Grid Mini WorkShop
Registryがもつデータベース Registry は JVO がアクセス可能な DB/VO に関する情報を保持し、JVO からの問い合わせにたいして、リクエストされた条件を満たすDB/VO のサーバーアドレスやアクセス方法等を返す。 データベースカタログ 望遠鏡カタログ 観測装置カタログ フィルターカタログ DB/VO ID DB/VO 名 種別 DB or VO サーバーアドレス Telescope ID Detector ID アクセス方法 コメント文 Telescope ID Telescope 名 VO ID 設置場所 緯度 経度 高度 口径 Detector ID Detector 名 Telescope ID DB/VO ID 波長域（下限） 波長域（上限） 検出感度曲線データ 視野 Filter ID Filter名 Detector ID 波長域（下限） 波長域（上限） 透過曲線データ 天体名 天体種別 赤経 赤緯 HTM 座標誤差（赤経） 座標誤差（赤緯） 等級 等級誤差 距離 絶対等級 波長 天体カタログ フレームカタログ フレームID 観測開始時刻 露出時間 中心座標（赤経） 中心座標（赤緯） 観測装置ID フィルターID 限界等級 seeing frame URL 天体名 resolver 天体カタログ、フレームカタログは本体 DB/VO からとってくるべきものであるが、Quick Search を行えるように、検索頻度の高い項目についてそのデータベースを Registory に保持しておくのはどうか？ 天体名 <--> 座標変換サービス 2018/9/22 Data Grid Mini WorkShop

32 実際の検索を依頼するサーバをresolveする
検索要求 Web ブラウザ Webブラウザ JVO Query Languageで記述 利用者独自 サービス 天体カタログ 検索サービス 研究者 JVO用 ブラウザ Viewer GT2から呼び出せるコマンドを想定 JVO ポータル JVO QLを 各DB毎の検索命令にparse 天体カタログDB データアーカイブ サービス 仮想観測 Contoroller skycat Globus Toolokit V2 を適用 データ 管理DB データ 検索命令を発行し，データを転送する UDDIサーバ （FreeSoft) 実際の検索を依頼するサーバをresolveする 　　Globus Toolkit サービス レジストリ 解析サービス セキュリティ管理 資源管理 データ管理 2018/9/22 Data Grid Mini WorkShop

33 JVO Query Language(1) カタログ検索
2018/9/22 Data Grid Mini WorkShop

34 JVO Query Language(2) 画像検索
2018/9/22 Data Grid Mini WorkShop

35 ユーザーインターフェースとしての検索条件項目
1. 領域を指定して検索（天球座標または天体名） 例1　赤経･赤緯と半径で円領域を指定。 例2　複数の赤経･赤緯の組合わせで領域指定。 例3 天体名と半径で領域指定。　 　 例4 フィールド名（HDF、SDF等）を指定。 2. 観測時刻を指定して検索 例1　観測時刻が　 T1～T2　の範囲にあるもの。　 例2　観測時刻の間隔が　ｄT1以上　dT2以下である。 3. 波長を指定して検索 例１　電波、可視光、赤外、X線、ガンマ線、その他を指定。 例2 波長がλ1～λ２　の範囲のデータ。 例3 U, V, B, G, R, I, J, K, L, M, N で指定。 * 複数指定の場合 and か or を指定する。 4. 観測条件を指定して検索 例１ seeing が X 以下、限界等級が M 以上。 例2 AO観測のデータが欲しい。 5. 天体の属性（位置以外）を指定して検索 例1 見かけの明るさを指定。 例2 絶対等級を指定。 例3 距離、redshift、photometric redshitt。 例4 種族を指定。恒星、銀河、SN、連星系、パルサー、AGN、 　　　　　　　 クエサー、GRB、XRB、SGR 　　　 7. 画像の属性を指定して検索 例1 視野が X 以上の画像データ。 8. 観測装置を指定 例1 望遠鏡の名前を指定。 例2 観測装置名を指定。 9. データベースを指定 例1 スバル Suprim-Cam　のデータベースを指定。 例2 survey 型観測のデータベースのみ検索。 例3 pointing 型観測のデータベースのみ検索。 問題点 検索条件によっては大量のデータをDBからとってくることになる。例えば、領域指定なしの検索を行うと大量のデータか検索条件にマッチしてしまう。そのよう場合はどうするか？ 2018/9/22 Data Grid Mini WorkShop

36 UDDI Registory / Servlet Engine
JVO Prototype System Architecture Redhat Linux 2Mass DataBase Redhat Linux JVO Service JVO Controller Solaris8 (Possible at Linux) Gb Ether GSDL UDDI Registory / Servlet Engine UDDI Maintenance Tool Java2SE 1.4 Globus Toolkit (Server) Java2SE 1.4 Hypertext contents Apache Tomcat Maintenance Tool JVO Service (X match) soapuddi UDDI4J Netscape Communicator Java2 Plugin JVO Client (applet) Apache ＳＯＡＰ ① Applet DownLoad JDBC register update delete JVO Service (select) SQL library ③ Find Service ② Request Observation JVO Controller DB Service Image Data (copy) DB Service Java2SE 1.4 PostgreSQL (DBMS) PostgreSQL JVO Server Monitoring UDDI4J UDDI Data SUBARU SupCam z-band Image Data 2Mass DB get & parse GSDL pre condition check execute Service post condition check Redhat Linux SUBARU DataBase ⑦ issue SQL JVO Service ⑤ execute Service ③ get GSDL GSDL (copy) ④’ Get GSDL by GridFTP GSDL ⑤’ execute Service Check status Globus Toolkit (Client) Internet Globus Toolkit (Server) ⑥’ spawn Service ④ Get GSDL by GridFTP JVO Service (image) AVO JVO Service JVO Service (X match) SUBARU DataBase Globus Toolkit Globus Toolkit (Server) GridFTP GSDL JVO Service (select) SQL library NVO ⑥ spawn Service Globus Toolkit JVO Service (count) SQL library JVO Service (select) SQL library JVO Service (image) JVO Service (X match) JVO Service (count) SQL library ⑦’ issue SQL Image Data Image Data (copy) Copy imate data by GridFTP Image Data (copy) DB Service ORACLE 2018/9/22 Data Grid Mini WorkShop The following free software is included by globus toolkit. OpenSSL (Secure Socket Library) OpenLDAP (LDAP Server) wu-ftpd (ftp server) Copy imate data by GridFTP SUBARU SupCam i-band Free Software In House Software Image Data Commercial Software Function

37 Data Grid Mini WorkShop
Prototypeの動作 JVO QLを読み込む 「観測手順書」を作成し，各ステップを実行 必要な段階で，Registryにコンタクトしながら手順書を展開 時にとっては，手順書のステップがdynamicに増加 2018/9/22 Data Grid Mini WorkShop

38 UDDI Registory / Servlet Engine
JVO Prototype Architecture Solaris8 (Possible at Linux) Redhat Linux JVO Service UDDI Maintenance Tool UDDI Registory / Servlet Engine Java2SE 1.4 Java2SE 1.4 Globus Toolkit (Server) Maintenance Tool Apache Tomcat 4.x JVO Service SQL library soapuddi UDDI4J Apache ＳＯＡＰ Hypertext contents JDBC DB Service Applet Down Load JVO Client RDB PostgreSQL JVO Server Netscape Communicator Java2 Plugin Java2SE 1.4 … JVO Client (applet) JVO Controｌler Redhat Linux UDDI4J JVO Service Globus Toolkit (Client) Globus Toolkit (Server) JVO Service DB Service JVO Service SQL library Globus Toolkit (Server) PostgreSQL DB Service JVO Service SQL library RDB RDB ORACLE The following free software is included by globus toolkit. OpenSSL (Secure Socket Library) OpenLDAP (LDAP Server) wu-ftpd (ftp server) Free Software In House Software 2018/9/22 Data Grid Mini WorkShop Commercial Software Function

39 Data Grid Mini WorkShop
JVOプロトタイプ画面 仮想観測名を指定 JVO QLの指定　 （分散データのSQL拡張） 実行・停止・clearの指示 サービス実行制御の ログ表示 サービスの実行履歴・予定　（動的に変化） ［実行先ホスト名、コマンド名、結果］ 2018/9/22 Data Grid Mini WorkShop

40 Data Grid Mini WorkShop
プロトタイプ実装で分かったGTKの問題 Job実行先での環境変数が継承されない 　→環境変数取得やコマンドを実行するshell scriptを用意し，そのscriptをGridFTPし，そのshellを起動してscriptを実行 利用者のアカウントが全てのマシンにあるとは限らない 　→動作時のアカウントはglobusのみ 2018/9/22 Data Grid Mini WorkShop

41 プロトタイプ実装で分かったGTKの問題（続き）
Job実行開始までのOverhead大きすぎる 　→JVOでのJobは多くはbatch処理的なのでそれほど問題ではない｡Foreground的処理をGridで行なうのは現状では問題。 　→お知恵を拝借したい 2018/9/22 Data Grid Mini WorkShop

42 Data Grid Mini WorkShop
今後の展開—来年あたり プロトタイプ第2版の作成 　解析システムの実装（使用中のコンポー　　　　　　　　　　　　　　ネントを接続） 　　セキュリティの確保（サブネット越え＋ 　　　　　　　　　　　　　　　Firewall越え） 世界のVOとの接続 International Virtual Observatory Allianceへの参加を通し，接続形態の 　　　　共通化に貢献 2018/9/22 Data Grid Mini WorkShop

43 Data Grid Mini WorkShop
JVO 解析機能 1. データベースの統計処理 指定したデータベース、天空領域について以下の天空マップを作る。天球の指定した範囲がど れだけの時間･回数･波長で観測されたのかを視覚的に確認するため。 例1 観測時間マップ 例2 観測回数マップ 例3 波長域数マップ 例4 2. ユーザーデータベースの解析 例1 　クラスタリング解析による新種天体の探索。 例2 　LogN-LogP 分布の作成。 例3 　特定天体のスペクトルの表示。 例4 　天体2or3次元分布の表示。 例5 　天体のライトカーブ表示。 3. 画像データの解析 例1 　モザイキング。ユーザーが指定した領域のみの画像を切り出す。 例2 　マルチカラー表示。多波長で取られた画像を波長毎に色をつけて合成する。 例3 　deconvolution　を行う。 例4 　天体抽出、種族分類、カタログ化。 例5 　トランジェント天体、変光星の探索。 例6 　重力レンズ効果の探索。宇宙重力場、Cosmic String、Dark Matter 例7 　high-z 天体候補の探索。 4. simulation 機能 例1 　例えば、HSTの画像をSubaruで見た場合画像に変換する。 例2 　重力レンズ効果の simulation 機能。 例3 　... 2018/9/22 Data Grid Mini WorkShop

44 Data Grid Mini WorkShop
2018/9/22 Data Grid Mini WorkShop

45 Data Grid Mini WorkShop
Java NEWSTAR パラメータ入力画面をJavaで作成 プラットフォーム依存性を排除 解析の本体部はサーバーに置き，HORB 　で通信 AIPSを用いたファイル管理（VAXタイプ） 　　　→　通常のUNIXファイルとして管理 2018/9/22 Data Grid Mini WorkShop

46 Data Grid Mini WorkShop
2018/9/22 Data Grid Mini WorkShop

47 Data Grid Mini WorkShop
世界のVO NVO　(USA), AVO (EU),AstroGrid (UK) Germany, Canada, Russia, Australia India, China, JAPAN 各国のVOを相互接続するための規約作り →　International Virtual Observatory Alliance (IVOA) 2018/9/22 Data Grid Mini WorkShop

48 Data Grid Mini WorkShop
MVC 天文台殿 MVC サービス 天体カタログ 天体カタログDB　 MVC 天体カタログ Web サーバ JVO ポータル VO用 ブラウザ セキュリティ管理 資源管理 データ管理 仮想観測 指示 仮想観測実行 サービス 研究者 VO用 Viewer ワーク フロー 天文台殿 サービス 利用者独自 サービス DB/DA DA/DB　 DB Data セキュリティ管理 資源管理 データ管理 サービス レジストリA セキュリティ管理 資源管理 データ管理 GRID環境 A サービス レジストリC サービス レジストリB サービス 他システム pipeline 処理 データ管理 資源管理 セキュリティ管理 Web サーバ VO ポータル サービス 他システム 処理 データ管理 資源管理 セキュリティ管理 VO用 ブラウザ サービス 他システム 処理 データ管理 資源管理 セキュリティ管理 サービス セキュリティ管理 研究者 VO用 Viewer 資源管理 他システム データ管理 処理 2018/9/22 Data Grid Mini WorkShop GRID環境 C GRID環境 B

49 Data Grid Mini WorkShop
今後の展開—数年後 制御システムとの接続 すばる，野辺山の制御系は分散WS 　　　GRIDインターフェースを付けてVOに 　　　接続 ALMAデータの接続（年間Pbyteを生産） 一般用＆教育用interface 2018/9/22 Data Grid Mini WorkShop

50 Data Grid Mini WorkShop
波及効果 大学・大学院教育の支援 初等・中等教育の支援 Public outreach 2018/9/22 Data Grid Mini WorkShop

51 Data Grid Mini WorkShop
DB天文学 光学赤外線電波天文学／電波X線天文学 大量データの統計処理 →物理量を精度よく決定 →天文学は精密科学へと変貌する 未知天体の発見ラッシュ 2018/9/22 Data Grid Mini WorkShop

52 Data Grid Mini WorkShop
mystery outliers graphics from US NVO project 2018/9/22 Data Grid Mini WorkShop

53 Data Grid Mini WorkShop
2018/9/22 Data Grid Mini WorkShop