GRID技術を活用した 電網天文台の構築(Virtual Observatory) 2018/9/22 GRID技術を活用した 電網天文台の構築(Virtual Observatory) 国立天文台 & 総合研究大学院大学 大石雅寿 masatoshi.ohishi@nao.ac.jp 2003/11/26 DBWeb2003
すばる望遠鏡 2003/11/26 DBWeb2003
すばる望遠鏡 2003/11/26 DBWeb2003
2003/11/26 DBWeb2003
2003/11/26 DBWeb2003
45m大型電波望遠鏡 2003/11/26 DBWeb2003
ミリ波干渉計 2003/11/26 DBWeb2003
VSOP 2003/11/26 DBWeb2003
現代天文学の要請 宇宙開闢後の物理 銀河形成の謎 大規模構造形成の謎 宇宙の平均密度の決定 etc. → 均質なサーベイデータを用いた統計的処理が必須 2003/11/26 DBWeb2003
WMAP （0.2度の分解能） 2003/11/26 DBWeb2003
WMAPから分かること 宇宙年齢： 134±3億年 ハッブル定数：72±5 km/s/Mpc 物質以外のエネルギー：約71% → ダークエネルギー（正体不明） 2003/11/26 DBWeb2003
天文学者の欲求 感度を上げたい! たくさんのデータを取りたい! 広い領域を見たい! 新しい波長で見たらどんな宇宙が? 2003/11/26 DBWeb2003
Time and Spectral Dimensions The Multiwavelength Crab Nebulae Crab star 1053 AD X-ray, optical, infrared, and radio views of the nearby Crab Nebula, which is now in a state of chaotic expansion after a supernova explosion first sighted in 1054 A.D. by Chinese Astronomers. 2003/11/26 DBWeb2003 Slide courtesy of Robert Brunner @ CalTech.
Archiveを用いた天文学研究 large fraction of astro-papers based on archives HST archive use growing faster than archive Already more retrieval than ingest! graphics from US NVO project 2003/11/26 DBWeb2003
mystery outliers graphics from US NVO project 2003/11/26 DBWeb2003
z>5 quasars in Sloan test data 2003/11/26 DBWeb2003
大型望遠鏡による観測データ 野辺山電波望遠鏡：~1TB/yr すばる望遠鏡 ：~20TB/yr ALMA（予定） ：~PB/yr 良質なデータ（特にサーベイデータ）の洪水 ディジタル化・アーカイブ化されている 2003/11/26 DBWeb2003
データ処理する人間の意識 それほどは変わらない 従来の方法では処理しきれないデータ →なんとかならないか 2003/11/26 DBWeb2003
計算機環境の激変 計算機の高性能化 CPU,memory,I/O性能 Data Storageの大型化 PBクラスのデータは格納可能 SAN Networkの高速化 SuperSINET 10Gbps 2003/11/26 DBWeb2003
計算機環境の激変により・・・ 高性能計算機資源が高速ネットワークで接続 →遠隔地の計算機資源をあたかもローカ ル計算機のように利用することが可能 →単細胞生物から多細胞生物への進化に 対応 2003/11/26 DBWeb2003
情報学・計算機科学の発展 Web技術 分散・結合技術：CORBA,GRID OODB(Object Oriented Data Base) Data Mining etc. 2003/11/26 DBWeb2003
計算機利用パラダイムの転換 高度化した計算機環境＋情報処理技術 を組み合わせることによって可能になる 新たな天文研究スタイルを確立しよう を組み合わせることによって可能になる 新たな天文研究スタイルを確立しよう 2003/11/26 DBWeb2003
Virtual Telescope/Observatory Digital Universeを観測し，そのデータを 解析・処理することにより天文学的知見を生み出す抽象化された観測装置 いつでも，どこからでも，天候などに左右されずに観測することができる 2003/11/26 DBWeb2003
実望遠鏡での 電網望遠鏡での 観測 観測 2003/11/26 DBWeb2003 観 測 データ 検 索 データ アイデア 解 析 研究発表 電網望遠鏡での 観測 観測 2003/11/26 DBWeb2003
望遠鏡は覗かないよ ! 2003/11/26 DBWeb2003
実望遠鏡での観測 観測手順を思い起こそう １）観測用ターミナルに，天体の座標，観測 波長（周波数），観測方法などを入力 波長（周波数），観測方法などを入力 ２）観測開始＝データが取れるのを待つ ３）データ取得終了＝計算機画面にデータが 現れる ４）そのデータを計算機で解析する ５）成果を論文として発表する 2003/11/26 DBWeb2003
電網望遠鏡での観測 観測手順を思い起こそう １）検索用ターミナルに，天体の座標，観測 波長（周波数），観測方法などを入力 波長（周波数），観測方法などを入力 ２）検索開始＝データが取れるのを待つ ３）データ取得終了＝計算機画面にデータが 現れる ４）そのデータを計算機で解析する ５）成果を論文として発表する 2003/11/26 DBWeb2003
これまでの開発成果を基盤に 望遠鏡制御システムの構築 天文データベースの構築 DASH － CORBAを用いたLAN内の分散解析環境 NEWSTAR － 電波天文用解析ソフトウエア（サーバー・クライアント型） 天文データに対するデータマイニング 2003/11/26 DBWeb2003
JVOの基盤技術(1) GRID－分散した計算機資源を利用する ためのミドルウエア 電力網とのanalogy 2003/11/26 DBWeb2003
DBの配置 観測データは，望遠鏡（観測所）におかれることが望ましい 多波長データを利用するためには，必然的に，分散データベースとなる Header items ? 2003/11/26 DBWeb2003
JVO prototype : Ver. 1 Establish seamless access to federated DBs by using the Grid technology Define JVO Query Language, and implement its parser Test environment is in a closed subnet 2003/11/26 DBWeb2003
Data Bases in the prototype Subaru SuprimeCAM Sloan Digital Sky Survey (SDSS) 2μm All Sky Survey (2MASS) 2003/11/26 DBWeb2003
天文データの検索 球座標（地球上の緯度・経度と同じ）での検索 → 経度0度の1度西は経度359度！ 望遠鏡の空間分解能の違い → 経度0度の1度西は経度359度！ 望遠鏡の空間分解能の違い 望遠鏡の指向制度 等を考慮する必要あり 2003/11/26 DBWeb2003
JVO Query Language(1) Catalog Query 2003/11/26 DBWeb2003
JVO Query Language(2) Image Query 2003/11/26 DBWeb2003
UDDI Registory / Servlet Engine JVO Prototype System Architecture Redhat Linux 2Mass DataBase Redhat Linux JVO Service JVO Controller Solaris8 (Possible at Linux) Gb Ether GSDL UDDI Registory / Servlet Engine UDDI Maintenance Tool Java2SE 1.4 Globus Toolkit (Server) Java2SE 1.4 Hypertext contents Apache Tomcat Maintenance Tool JVO Service (X match) soapuddi UDDI4J Netscape Communicator Java2 Plugin JVO Client (applet) Apache ＳＯＡＰ ① Applet DownLoad JDBC register update delete JVO Service (select) SQL library ③ Find Service ② Request Observation JVO Controller DB Service Image Data (copy) DB Service Java2SE 1.4 PostgreSQL (DBMS) PostgreSQL JVO Server Monitoring UDDI4J UDDI Data SUBARU SupCam z-band Image Data 2Mass DB get & parse GSDL pre condition check execute Service post condition check Redhat Linux SUBARU DataBase ⑦ issue SQL JVO Service ⑤ execute Service ③ get GSDL GSDL (copy) ④’ Get GSDL by GridFTP GSDL ⑤’ execute Service Check status Globus Toolkit (Client) Internet Globus Toolkit (Server) ⑥’ spawn Service ④ Get GSDL by GridFTP JVO Service (image) AVO JVO Service JVO Service (X match) SUBARU DataBase Globus Toolkit Globus Toolkit (Server) GridFTP GSDL JVO Service (select) SQL library NVO ⑥ spawn Service Globus Toolkit JVO Service (count) SQL library JVO Service (select) SQL library JVO Service (image) JVO Service (X match) JVO Service (count) SQL library ⑦’ issue SQL Image Data Image Data (copy) Copy imate data by GridFTP Image Data (copy) DB Service ORACLE 2003/11/26 DBWeb2003 The following free software is included by globus toolkit. OpenSSL (Secure Socket Library) OpenLDAP (LDAP Server) wu-ftpd (ftp server) Copy imate data by GridFTP SUBARU SupCam i-band Free Software In House Software Image Data Commercial Software Function
How it works ? Read JVO QL Create “Work Flow”, and execute each step When necessary, access to the registry to expand the step of the work flow Thus the steps increases dynamically 2003/11/26 DBWeb2003
2003/11/26 DBWeb2003
Refreshed automatically in every 15 seconds Monitor Window: Refreshed automatically in every 15 seconds 次にどういう作業をするべきかをダイナミック に判断し，作業ステップを構成・実行する 2003/11/26 DBWeb2003
各ステップの実行 実行前のチェック ジョブを依頼したいサーバーは生きているか？ 入力ファイルは存在するか？ 等 実行後のチェック ジョブを依頼したいサーバーは生きているか？ 入力ファイルは存在するか？ 等 実行後のチェック 出力ファイルが正常に作成されたか？ ジョブが失敗したら，他のサーバーが使えるか？ 2003/11/26 DBWeb2003
Sample Outputs 2003/11/26 DBWeb2003
2003/11/26 DBWeb2003
Prototype1の問題点 Globus Tool Kit2は，認証等の際のオーバーヘッドが大きすぎる → → NMI (NSF Middleware Initiative)を導入し，認証時間を短縮し，かつ，GTK2のコードを変更してpolling intervalを短くし，オーバーヘッドを半分以下に短縮 2003/11/26 DBWeb2003
インターフェースの改良 JVOQLを使うためには，SQLの知識を要する → SQLを知らなくてもJVOを利用できるよう，GUIを用いてエディターを作成 作成したQLを画面上で編集可能 → GUIに欠ける柔軟性を確保 2003/11/26 DBWeb2003
2003/11/26 DBWeb2003
宇宙ひもによる重力レンズ探し SXDSのデータをJVOに登録して「探査」 条件入力→実行 5分未満で候補の絞り込み，SED表示などが可能 2003/11/26 DBWeb2003
「宇宙ひも」とは? 宇宙が誕生してから10-35秒，温度1015GeVの頃に存在した(?)とされる素粒子の素 点ではなく，大きさをもつ 太さは10-22m以下だが，宇宙の大きさほどの長さ。10kmの長さで地球と同程度の質量 2003/11/26 DBWeb2003
重力レンズとは? 巨大質量天体の強大な重力により空間がひずみ，天体の向こうにある別の天体の像がその巨大天体の周囲に複数見える現象 2003/11/26 DBWeb2003
IAU 総会(Sydney)でのデモ IVOA（後述）ブースで他国のVOと共同デモを実施 Sydney ⇔ Mitakaを接続して，実行できた Delayはある（日豪間は約8000? km)ものの実行に問題なし 2003/11/26 DBWeb2003
プロトタイプ2の開発 複数利用者の同時アクセスに耐えるよう ユーザー登録機能（シングルサインオン機能＝GRID環境への登録） Firewallを越えられるユーザー領域確保 （GSI-SFSの試用） OGSAの採用 (Web Servicesとの融合） 各種解析機能の搭載に向けた準備 2003/11/26 DBWeb2003
JVOプロトタイプ2の開発方針 分散基盤 Globus Toolkit Ver.3 への移行 データへのアクセス方式 GT３のGRAM／ 2018/9/22 分散基盤 Globus Toolkit Ver.3 への移行 データへのアクセス方式 GT３のGRAM／ GRIDサービス 利用者ごと機能 ①利用者管理の試作 ②データ保存 メタデータ 登録情報（メタデータ） の管理、検索方式 解析処理 解析処理連携の検討 2003/11/26 DBWeb2003
システム構成 GRAM OS認証 GRAM GRIDｻｰﾋﾞｽ GSI-SFS GRAM RFT GRIDｻｰﾋﾞｽ 2003/11/26 2018/9/22 システム構成 データベースサーバ１ 分散情報管理 Gb Ether Gb Ether データ検索処理 ORACLE ｾｷｭﾘﾃｨ 管理 抽出機能 GWSDL ﾚｼﾞｽﾄﾘ/ ﾒﾀﾃﾞｰﾀ 画像管理 DB RFT サーバ 検索機能 データ数count 利用者操作画面 資源管理 2MASS 作業領域 不要データ 削除 Globus Toolkit V3 cron 統合検索指示 Globus Toolkit V3 ポータルサーバ 統 合 検 索 実 行 制 御 機 能 登録情報検索機能 GRAM Linux ﾎﾟｰﾀﾙｻｰﾌﾞﾚｯﾄ 条件指定画面 OS認証 データベースサーバ２ 利用者管理機能 統合検索状況モニター データ検索処理 PostgreSQL 状況表示 GWSDL GRAM 画像管理 DB 分散処理制御 データ数count 検索状況モニター画面 SUBARU SupCam i-band ・レジストリ検索 ・ＧWSDL解釈 ・準備、実行、結果確認 作業領域 不要データ 削除 cron GRIDｻｰﾋﾞｽ 統合検索結果表示機能 Globus Toolkit V3 データ保存 GSI-SFS Linux Web Server GRAM Globus Toolkit V3 データベースサーバ３ データ検索処理 検索結果画面 PostgreSQL GWSDL RFT 利用者毎の データ/ログ データ数count 画像管理 DB 解析処理実行機能 GT3 GRIDｻｰﾋﾞｽ クロスマッチ処理 SUBARU SupCam z-band 解析処理 解析処理画面 ﾊﾟｰｻ ｽｹｼﾞｭｰﾗ 不要データ 削除 作業領域 cron Webブラウザ Globus Toolkit V3 JVO-QL翻訳ｻｰﾊﾞ Globus Toolkit V3 Windows, Solaris8, Linux 2003/11/26 DBWeb2003 Solaris8 Linux（Solaris8）
Road Map 2003年度 Prototype 2の開発 → 実用に向けたコンポーネントの開発 2004年度 実用システムの開発開始 → 実用に向けたコンポーネントの開発 2004年度 実用システムの開発開始 年度後半?? 試用開始 2005-2006 試験運用＆機能向上 MASTARS，既存DBの接続 2007 ALMA部分運用への対応を目指す 2003/11/26 DBWeb2003
ALMA in Chile (sub-mm wave) 2003/11/26 DBWeb2003
世界のVOプロジェクト NVO (USA), AVO (EU),AstroGrid (UK) Germany, Canada, Russia, Australia India, China, Italy, France, JAPAN VOを連携する標準方式の策定グループ → International Virtual Observatory Alliance (IVOA) 2003/11/26 DBWeb2003
www.ivoa.net 2003/11/26 DBWeb2003
IVOAにおける日本の役割 多くのWGのうち，VOQL(Virtual Observatory Query Language)の取り纏め担当 他のWG -- registry, data model, data access layer, VOtable, etc. IVOAにおける標準化活動の重要なメンバー 2003/11/26 DBWeb2003
2003/11/26 DBWeb2003 MVC GRID環境 A GRID環境 C GRID環境 B MVC MVC サービス 天文台殿 MVC サービス 天体カタログ 天体カタログDB MVC 天体カタログ Web サーバ JVO ポータル VO用 ブラウザ セキュリティ管理 資源管理 データ管理 仮想観測 指示 仮想観測実行 サービス 研究者 VO用 Viewer ワーク フロー 天文台殿 サービス 利用者独自 サービス DB/DA DA/DB DB Data セキュリティ管理 資源管理 データ管理 サービス レジストリA セキュリティ管理 資源管理 データ管理 GRID環境 A サービス レジストリC サービス レジストリB サービス 他システム pipeline 処理 データ管理 資源管理 セキュリティ管理 Web サーバ VO ポータル サービス 他システム 処理 データ管理 資源管理 セキュリティ管理 VO用 ブラウザ サービス 他システム 処理 データ管理 資源管理 セキュリティ管理 サービス セキュリティ管理 研究者 VO用 Viewer 資源管理 他システム データ管理 処理 2003/11/26 DBWeb2003 GRID環境 C GRID環境 B
Gridで重要なもの 計算資源のネットワーク これは当然 それだけでなく・・・ 分野を越えた人間のネットワークがより重要 これは当然 それだけでなく・・・ 分野を越えた人間のネットワークがより重要 2003/11/26 DBWeb2003
何ができるようになるの? 銀河研究での例： 銀河の「客観的分類」を行って，原始銀河 の特徴をあぶり出す銀河誕生の理解 銀河の「客観的分類」を行って，原始銀河 の特徴をあぶり出す銀河誕生の理解 Cosmic stringによる空間のひずみを広域サーベイデータからあぶり出す宇宙初期の理解 微弱スペクトルから「アミノ酸」を探す宇宙における生命誕生?の理解 ・・・・・・・ 2003/11/26 DBWeb2003
何ができるようになる?（続き） ガンマ線バースト天体の同定 Quasarの時間変化 太陽系近傍天体(EKBO等）の探査 Brown dwarfの探査 etc. 2003/11/26 DBWeb2003
波及効果 大学・大学院教育の支援 初等・中等教育の支援 Public outreach 2003/11/26 DBWeb2003
電網天文台が拓くDB天文学 光学赤外線電波天文学／電波X線天文学 大量データの統計処理 →物理量を精度よく決定 →天文学は精密科学へと変貌する 未知天体の発見ラッシュ 2003/11/26 DBWeb2003
Collaborators NAOJ Y. Mizumoto N. Yasuda Y. Shirasaki M. Tanaka S. Honda Ochanomizu U. Y. Masunaga Fujitsu Ltd. K. Monzen K. Kawarai Y. Ishihara H. Yanaka Y. Yamaguchi M. Ishida N. Saito K. Abe J. Tsutsumi Ken Miura 2003/11/26 DBWeb2003
Supported by 科研費特定領域研究 「情報学」 A05（松岡・下條）班 2003/11/26 DBWeb2003
http://www.ivoa.net/ Web Pages http://jvo.nao.ac.jp/ 2003/11/26 DBWeb2003