JVOの研究開発 （プロトタイプ2の実装） 田中昌宏、白崎裕治、本田敏志、 大石雅寿、水本好彦(国立天文台)、

Presentation on theme: "JVOの研究開発 （プロトタイプ2の実装） 田中昌宏、白崎裕治、本田敏志、 大石雅寿、水本好彦(国立天文台)、"— Presentation transcript:

1 JVOの研究開発 （プロトタイプ2の実装） 田中昌宏、白崎裕治、本田敏志、 大石雅寿、水本好彦(国立天文台)、
安田直樹(東大宇宙線研)、増永良文(お茶の水女子大)、 石原康秀、阿部勝巳、堤純平(富士通)、 中本啓之、森田康裕(セック) 日本天文学会春季年会V02a　2004年 3月 23日 国立天文台の田中です 前の講演で概要をのべたJVOで 開発しているプロトタイプ２について講演いたします

2 JVOプロトタイプの開発 JVOの目的 プロトタイプ開発の目的 2002年度（昨年度） プロトタイプ１の開発
地理的に分散したデータアーカイブ間の連携を実現 多波長天文データアーカイブを連携した解析を容易にする プロトタイプ開発の目的 我々が定義した検索言語の機能を確認 本運用システムに向けて、採用した技術の有効性を確認 2002年度（昨年度）　プロトタイプ１の開発 2003年度（本年度）　プロトタイプ２の開発 JVOの目的は、 地理的に分散したデータアーカイブ間の連携　を実現し、 多波長天文データアーカイブを連携した解析を容易にする　ことです。 JVOでは本システム構築の前段階として、プロトタイプの開発をおこなっています。 プロトタイプ開発の目的 我々が定義した検索言語の機能を確認 本運用システムに向けて、採用した技術の有効性を確認 2002年度（昨年度）　プロトタイプ１の開発 2003年度（本年度）　プロトタイプ２の開発

3 JVOプロトタイプ構成 Gridによる 分散計算機の連携 利用者 ポータルサーバ ユーザ インタ フェース 検索言語 パーサ 実行制御
Linux ポータルサーバ ユーザ インタ フェース 検索言語 パーサ 実行制御 Linux データベースサーバ RDB Subaru 検索 XMatch サービス 利用者 Gridによる 分散計算機の連携 Solaris レジストリサーバ UDDI (プロト1) XMLDB (プロト2) メタデータ Linux データベースサーバ RDB XMM 検索 XMatch サービス これはJVOシステム構成の概念図です。 プロトタイプは 複数のデータベースサーバ、 ユーザがアクセスするポータルサーバ、 レジストリサーバ　からなります。 天文データは、複数のデータベースサーバに保管されています。 一方、利用者はポータルサーバにアクセスすることによって、 複数のサーバということを意識せずにほしいデータを取得できます。 ほしいデータがどのサーバにあるかということは、このレジストリサーバが保持し、 ここに検索をかけることによって解決します。 これらの分散計算機を連携するため、グリッドもちいました。

4 プロトタイプ１の概要 天文用検索言語JVOQLを定義 複数のデータサーバ間で連携した検索を実現 JVOQLパーサ
各データサーバへの検索に分解 グリッドによる遠隔実行制御システム グリッドのミドルウェアとしてGlobus Toolkit (ver.2) を利用 検索・クロスマッチサービス 転送データ形式：　国際VOの標準として提案されている VOTable （XML形式） と FITS 検索実行、結果表示などのユーザインタフェース プロトタイプ１については、昨年の春の学会で報告しました。 その概要を述べますと、まず第１に、天文用検索言語JVOQLを定義したこと。 第２に、複数のデータサーバ間で連携した検索を実現しました。　これは次のような要素から成ります。 １つは、JVOQLをパースして各サーバへの問い合わせへの分解するパーサ それからパース結果をもとに実際に分散サーバへの検索を実行する 遠隔実行制御するシステムの実装 これはGlobus Toolkit (ver.2) を利用することで実現しました。 そして、検索・クロスマッチサービスを実装 ここに外国のVOとの連携を視野に入れて、 転送データ形式として　国際VOの標準として提案されている VOTable （XML形式） と FITSを採用しました。 検索実行、結果表示などのユーザインタフェースの実装しました。

5 プロトタイプ２での改良・拡張 Globus toolkit ver.3 （グリッドサービス）を利用した システムの再設計
メタデータ検索の導入 （XMLDB） アーカイブデータの追加 スペクトルデータ検索の導入 解析機能の追加　・・・　次の講演白崎他（V04b） ユーザインタフェースの改良 （Struts） パーサ・スケジューラの改良 （JavaCC） プロトタイプ１はいろいろな問題が出まして、また機能が不足していますので、 プロトタイプ２では次のような点について改良・拡張をおこなっています。 Globus toolkit ver.3 （グリッドサービス）を利用したシステムの再設計 メタデータ検索の導入 （XMLDB） アーカイブデータの追加 スペクトルデータ検索の導入 この講演では述べませんが、 　解析機能の追加　・・・　次の講演白崎他（V04b） 　ユーザインタフェースの改良 （Struts） 　パーサ・スケジューラの改良 （JavaCC） などもおこなっています

6 グリッドサービスへの移行 分散サーバ連携： グリッドのミドルウェアである Globus Toolkit を利用 実装方法の改良
分散サーバ連携：　 グリッドのミドルウェアである Globus Toolkit　を利用 実装方法の改良 プロトタイプ１：　 Globus Toolkit ver. 2　(GRAM) 実行時間：　1 Step 20数秒 大部分は実処理以外の待ち時間 プロトタイプ２：　 Globus Toolkit ver. 3　(Grid Service) 実行時間：　1 Step 2-3秒 オーバヘッドは平均30ms まず遠隔実行制御について。 JVOシステムは検索言語JVOQLをパースして、 遠隔実行のスケジュールを作成します このときレジストリからデータサーバを引き当てます。 遠隔実行のミドルウェアにはGlobusToolkitを採用しました。 プロトタイプ１ではGlobusToolkit バージョン２、 プロトタイプ２ではバージョン３のグリッドサービスを利用しました。

7 メタデータ ２種類のメタデータ どのサーバに天文データがあるか？ どのような内容の天文データか？ 実装方法の改良 プロトタイプ１： UDDI
分散アーカイブ連携検索のためにシステムが必要な情報 どのような内容の天文データか？ FITSヘッダに書かれるような情報 観測装置、波長帯、観測日時、天域、… 実装方法の改良 プロトタイプ１：　UDDI サーバ 情報のみ検索。データ内容の検索は不可 プロトタイプ２：　XMLDB IVOAで検討されたメタデータ仕様 （XML形式で定義） に準拠 XMLDB（カレアレア）を用いて検索 メタデータについては、２種類あります。 データや解析サービスがどのサーバにあるかという情報 天文データについてのメタデータ、たとえば 観測装置、波長、時刻、天域、といった情報があります。 どうやって検索するか方法 プロトタイプ１：　、 プロトタイプ２：　それを見直してXMLDBを採用しました ２種類のメタデータ １つは、どのサーバに天文データがあるか？　という 　分散アーカイブ連携検索のためにシステムが必要な情報、 どのデータがどのサーバで提供しているか もう１つは、どのような内容の天文データか？　という FITSヘッダに書かれるような情報 例えば　観測装置、波長帯、観測日時、天域、…　といた内容です 実装方法は、 プロトタイプ１では　UDDI 　これはWebサービスを検索するためのものなので、 サーバの情報のみ検索することはできて、データ内容の検索は不可でした そこで、プロトタイプ２では、 メタデータをIVOAで検討されたメタデータ仕様 （XML形式で定義） に準拠し、 XMLDB（カレアレア）に入れて検索するという方法にしました。

8 利用できるアーカイブの検索 検索画面 検索結果 これによって、利用できるアーカイブの検索をおこなうことができるようになりました。
左の画面はその検索画面で、 X線とかopticalとか観測装置などを指定すると、 右の画面のように条件に当てはまるアーカイブデータの一覧を得ることができるようになりました。

9 プロトタイプ２で利用できるアーカイブ すばる XMM (SXDS field) SDSS QSO スペクトル ２MASS （準備中） SDF
プロトタイプ２で利用できるアーカイブは以下のようなデータです。 すばるで撮られた SDF それから昨日の講演にありましたSubaru-XMM Deep Survey の field XMM (SXDS field) SDSS QSO スペクトル ２MASS （準備中）

10 スペクトルデータ検索機能 SDSS QSOカタログとスペクトル検索機能を追加 JVOのデモ ポスターセッション本田他（V03c）にて実施

11 まとめ 我々が定義した検索言語による分散データアーカイブ連携を、グリッドを利用したJVOプロトタイプにより実現した。
プロトタイプ１での問題点を、プロトタイプ２で改良 グリッドサービスを用いることにより、遠隔実行のオーバーヘッドを解消した XMLDBにより、テーブル検索を可能にした プロトタイプ２の実装により、実用的に動作するシステムが実現できた。

12 The End

13

14 検索文の自動生成

15 JVOプロトタイプ動作 ヒット数が少ない方の データベースサーバ から検索実行 検索結果 VOTable ポータルサーバに ログイン 利用者
Linux ポータルサーバ ユーザ インタ フェース 検索言語 パーサ 実行制御 Linux データベースサーバ RDB XMM 検索 XMatch サービス 利用者 JVOQLを送信 実行開始 利用者に表示 クロスマッチ 結果 VOTable ２つの データベースサーバに 個数検索実行命令 JVOQLをパースして、 データがどのサーバにあるか レジストリに問い合わせ VOTtableと データベースで クロスマッチ検索 Solaris レジストリサーバ UDDI (プロト1) XMLDB (プロト2) メタデータ Linux データベースサーバ RDB Subaru 検索 XMatch サービス プロトタイプの構成を図示したものです。 プロトタイプはポータルサーバ、 レジストリサーバ、 データおよびサービスサーバからなります。 黄色で示したところが利用技術 ピンクで示したところが開発した部分です。 この図はまた後で説明します。 クロスマッチ 結果 VOTable