JVOプロトタイプ システムの開発 DEWS2004 2004年 3月 5日 田中 昌宏、白崎 裕治、 本田 敏志、

Slides:



Advertisements
Similar presentations
JVO の研究開発(コスミックストリング探査への応 用) V04b 白崎裕治 1,8 、田中昌宏 1 、本田敏志 1 、大石雅寿 1 、水本好彦 1 、矢作日出樹 1 、小杉城治 1 、柏川伸成 1 、松崎英一 2 、安田直樹 3 、長 島雅裕 4 、増永良文 5 、石原康秀 6 、阿部勝巳 6 、堤純平.
Advertisements

All Rights Reserved, Copyright © 2001 GeoBasic® & IIMS® Networking GIS データ共有型 GIS 2001年2月 ジーイーネット 株式会社.
DB(データベース)のおはなし 作成者:小野正広 DBと言っても、  ドラゴンボール ではないですぞ! 3/1/2017.
パネル型クエリ生成インタフェース画像検索システムの改良
2004年度 サマースクール in 稚内 JSFによるWebアプリケーション開発
Webサービスに関する基本用語 Masatoshi Ohishi / NAOJ & Sokendai
ネットワークを利用した 環境情報データ自動収集 サーバシステムの開発
高速分光器観測マニュアル ○内容 1:各種マスクスリットの(CCD上での)位置 p.2
JPAを利用した RESTful Webサービスの開発
VO講習会2013春 VOツール使用法(1) TOPCAT 国立天文台 天文データセンター 小宮 悠.
HETE-2のバースト観測ネットワーク マウイ 副地上局 パラオ 副地上局 シンガポール 主・副地上局 赤道
JavaによるCAI学習ソフトウェアの開発
IM、プレゼンス、連絡先 IM 要求に応答する プレゼンスを設定または変更する ユーザーを検索する
VO ツール利用法 Specview 国立天文台 天文データセンター 白崎 裕治.
VO講習会 2015如月 (2015年2月26-27日、国立天文台三鷹)
計算機報告 能丸淳一 国立天文台ハワイ観測所.
すばる秋の学校2007 公開アーカイブ活用 (プロポーザル準備のために)
VO 概論 国立天文台 天文データセンター 白崎 裕治.
すばるの中期長期計画 国際連携 有本信雄 国立天文台・ハワイ観測所.
タグライブラリ ソフトウェア特論 第6回.
最新情報技術を活用した超大規模 天文データ解析機構の研究開発
Solar-B データベース およびデータ解析環境
空間メタデータ整備 における課題 園山 実 三菱総合研究所.
タグライブラリとJSP J2EE II 第2回 2004年10月7日 (木).
2018/9/21 JVOの研究開発 国際連携と全体進捗 国立天文台 & 総合研究大学院大学     大石雅寿 2004/03/23
JVO (Japanese Virtual Observatory) の研究開発 V03c
GRID技術を活用した 電網天文台の構築(Virtual Observatory)
Data Grid Mini WorkShop
Javaによる Webアプリケーション入門 第5回
空間情報サーバ (株)パスコ.
第8章 Web技術とセキュリティ   岡本 好未.
ワークフローシステムの開発 ワークフロー言語の必要性 XMLワークフロー言語の仕様 ワークフロー言語により、処理手順を記述し、
世界初のX線光子データベース「MAXI地上データベース」の 実現に向けた性能試験
e-サイエンス推進のための 広域分散ファイルシステムの 適用と評価
過負荷時の分散ソフトウェアの 性能劣化を改善する スケジューリングの提案
SOAP/UDDI/WSDLによるB2Bシステムの開発
SOAP/UDDI/WSDLによるB2Bシステム構築の一事例
VO ツール利用法 TOPCAT 国立天文台 天文データセンター 白崎 裕治.
オブジェクト指向プログラムにおける エイリアス解析手法の提案と実現
兵庫県立大学 自然・環境科学研究所 天文科学センター 伊藤洋一
実行時情報に基づく OSカーネルのコンフィグ最小化
JVOの研究開発 (メタデータ交換の国際対応)
WEBアプリケーションの開発 2002年度春学期 大岩研究会2.
JVO の研究開発 -- バーチャル天文台に対応した データサービスの実装 --
3.JAIRO Cloudシステム概要 Version 1.0
JVO (Japanese Virtual Observatory) の研究開発
Internet広域分散協調サーチロボット の研究開発
ミドルウェア”TSUNAGI”を 用いたWEBアプリケーションの構築
オープンソース開発支援のための ソースコード及びメールの履歴対応表示システム
オープンソース開発支援のための リビジョン情報と電子メールの検索システム
COSMOS天域における ライマンブレーク銀河の形態
宇宙科学統合解析環境の構築とAstro-E2解析支援
小型JASMINE計画の状況       矢野太平(国立天文台)       丹羽佳人(京大).
情報システム1及び演習 第一回 データベースの概要.
Nobuo ARIMOTO NAOJ/GUAS (Sokendai)
すばる望遠鏡による10GeV領域ガンマ線天体の観測
京都大学理学研究科 中村卓史 2006年2月24日 国立天文台
JVOの研究開発 (プロトタイプ2の実装) 田中昌宏、白崎裕治、本田敏志、 大石雅寿、水本好彦(国立天文台)、
広島県商工労働局イノベーション推進チーム
京大岡山 3.8m 新技術望遠鏡 東アジア最大の望遠鏡計画 この望遠鏡で用いられる3つの新技術
京大岡山 3.8m 新技術望遠鏡 東アジア最大の望遠鏡計画 この望遠鏡で用いられる3つの新技術
設計情報の再利用を目的とした UML図の自動推薦ツール
白崎裕治, 田中昌宏, 本田敏志, 大石雅寿, 水本好彦 (国立天文台), 安田直樹 (東大宇宙線研), 増永良文 (お茶の水大)
稚内北星学園大学 情報メディア学部 専任講師 安藤 友晴
COSMOS天域における赤方偏移0.24のHα輝線銀河の性質
オントロジーを利用した Webサービスの実行支援に関する研究
ネット時代のセキュリティ3(暗号化) 2SK 情報機器工学.
知識ベースの試作計画 ●●●研究所 ●●●技術部 稲本□□ 1997年1月.
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
第8章 データベースシステムの発展 8.1 オブジェクトリレーショナルデータベース 8.2 分散データベース 8.3 インターネットとデータベース.
Presentation transcript:

JVOプロトタイプ システムの開発 DEWS2004 2004年 3月 5日 田中 昌宏、白崎 裕治、 本田 敏志、 大石 雅寿、 水本 好彦 (国立天文台)、 安田 直樹 (東大宇宙線研)、 増永 良文 (お茶の水大)、 富士通、 セック DEWS2004 2004年 3月 5日 国立天文台の田中と申します 先ほどの話は天文DBの検索言語についてですが、 この検索言語が実際に動作する 次世代の天文データベースである JVOプロトタイプの開発について発表します。 この開発は、富士通、セックの方々にもご協力いただいています。

序 ― 天文学データベース 天体カタログ 昔: メシエ (1771年)、NGC (1888年)、... 最近: など多数 画像 序 ― 天文学データベース 天体カタログ 昔: メシエ (1771年)、NGC (1888年)、... 最近:  など多数 画像 DSS, HST, すばる, ... アーカイブされた天文データの活用は、天文学研究に不可欠 天体カタログ 天体数 データ量 USNO B1.0 10億 80GB GSC 2.2 4.8億 40GB 2MASS 4.7億 43GB まず天文データベースについて簡単に紹介します 天体カタログとしては、よく知られている メシエカタログ、NGCカタログが昔からあり、 最近のカタログとしては このように天体数で10億や5億という膨大な量になってきています。 他にもカタログは膨大な種類があり、いちいち挙げているときりがありません。 画像データとしては、 デジタルスカイサーベイ、ハッブル望遠鏡、すばる望遠鏡、等の観測データがあり、 これらはアーカイブされ、一般に利用できるようになっており、 こうしたデータを活用することは天文学研究には不可欠になってきています。

国立天文台の データアーカイブ 野辺山宇宙電波観測所アーカイブ SMOKA: すばる・岡山・木曽観測所アーカイブ SMOKA: すばる望遠鏡 野辺山宇宙電波観測所アーカイブ SMOKA: すばる・岡山・木曽観測所アーカイブ ここで国立天文台が提供しているデータアーカイブについて簡単に紹介します。 野辺山の電波望遠鏡のデータを提供するシステムのほかに、 SMOKAという すばる、岡山、木曽観測所で観測したデータを提供するシステムがあります。 左の画面はSMOKAで観測データを検索するインタフェースです。 ここに天球座標や観測時刻や装置を入力すると、観測データの一覧が得られます。 そして右図のようにサンプル画像を表示することができます。 ここまではだれでも検索できるようになっていますが、 実際のデータを取得するには申請が必要です。 SMOKA: http://smoka.nao.ac.jp/

天文データアーカイブ利用の問題 天文研究、特に多波長データを用いた研究には、 観測データは、観測所によって管理される 異なる観測データの組み合わせが必要 観測データは、観測所によって管理される データアーカイブは分散配置される データアーカイブ間での連携が考えられていない 利用者が各自で、データダウンロード、フォーマット変換 → 多波長データなどの解析にとって、大きなハードル このように天文データアーカイブシステムは便利になってきているのですが、 かならずしも十分とは言えません。というのは、 十分な天文学的な成果を挙げるには 単独の観測データだけですむということはなく、 異なる観測データを組み合わせることが必要とされるからです。 しかしアーカイブデータは 観測データは観測所が把握し管理するため、 たいてい観測所ごとに分散配置されます。 そこで問題となるのが、データアーカイブ間での連携は これまではほとんど考えられていない、ということです。 そこで、異なる観測データを組み合わせた研究をおこなうには 自分でデータを取ってきて、フォーマットをそろえなければなりません。 これは必ずしも計算機に習熟していない天文研究者には大きなハードルになります。

バーチャル天文台 Virtual Observatory (VO) 概念 計算機に保存された天文観測データを再観測 いつでも(昼でも雨でも)、どこでも(ネットワークがあれば) 観測が可能 実現するには・・・ 分散データベース連携が鍵 そこで登場したのが、 こういうハードルをなくすことを目指すものが virtual observatory voです。 VOの概念としては、 計算機に保存された天文観測データを再観測するというもので、 いつでも(昼でも雨でも)、どこでも(ネットワークがあれば) 観測が可能なもの、 VOを実現するには、 天文データの分散データベース連携

JVO (Japanese Virtual Observatory) 国立天文台のバーチャル天文台計画 日本の天文観測データアーカイブの連携 国立天文台のすばる、ALMAなどの観測データ JAXA/ISASの天文衛星データ 外国のVOとの連携 IVOA(国際バーチャル天文台連盟)に参加 世界中の天文データの相互利用を目指す 国際規格の1つ(VOQL)のとりまとめ 国立天文台では、 日本のバーチャル天文台として、 Japanese Virtual Observatory JVO 計画を進めています JVOでは、日本の天文観測データアーカイブの連携を目指しています それには、 国立天文台のすばる、ALMAなどの観測データ JAXA/ISASの天文衛星データ を含みます さらにJVOの活動として、外国のVOとの連携があります。 世界中の天文データの相互利用を可能にするため、 IVOA(国際バーチャル天文台連盟)に参加し 国際規格の1つ(VOQL)のとりまとめ をおこなっています。

JVOシステムの開発要素 分散DB連携 クロスマッチ検索 解析サービス ユーザーインタフェース 検索言語、メタデータ検索、遠隔実行、... 天体カタログ間で対応天体を探す 解析サービス 観測データから物理量に変換 ユーザーインタフェース 検索実行支援、結果表示、... バーチャル天文台を実現するためには、さまざまな開発要素があります。 その中で大きなものは、分散DB連携です ここには、検索言語、メタデータ検索、遠隔実行が含まれます。 そのほかに、発表では触れませんが、以下のような開発要素があります。 クロスマッチ検索 天体カタログ間で対応天体を探す 解析サービス 観測データから物理量に変換 ユーザーインタフェース 検索実行支援、結果表示

JVOプロトタイプの目的 我々が定義したJVOQLの機能を確認 本運用システムに向けて、採用した技術の有効性を確認 2002年度(昨年度) プロトタイプ1の開発 2003年度(本年度) プロトタイプ2の開発 JVOでは本システム構築の前段階として、プロトタイプの開発をおこなっています。 プロトタイプの主な目的は、 我々が定義したJVOQLの機能を確認すること、 本運用システムに向けて、採用した技術の有効性を確認することです。 昨年度  今年度 

JVOプロトタイプ構成 実行制御 利用者 JSP 利用技術 開発要素 サーブレット Grid ポータルサーバ 検索 サービス Grid Solaris レジストリサーバ UDDI  or Grid メタデータ Linux データベースサーバ 検索 サービス RDB 天体カタログ Grid Linux データベースサーバ 検索・解析 サービス RDB 天体カタログ Grid プロトタイプの構成を図示したものです。 プロトタイプはポータルサーバ、 レジストリサーバ、 データおよびサービスサーバからなります。 黄色で示したところが利用技術 ピンクで示したところが開発した部分です。 この図はまた後で説明します。 利用技術 開発要素

遠隔実行制御 実行制御: 遠隔実行: Globus Toolkit JVOQLをパースして、実行スケジュールを生成 レジストリからデータサーバを引き当てる 遠隔実行: Globus Toolkit プロトタイプ1: ver. 2 (GRAM) プロトタイプ2: ver. 3 (Grid Service) まず遠隔実行制御について。 JVOシステムは検索言語JVOQLをパースして、 遠隔実行のスケジュールを作成します このときレジストリからデータサーバを引き当てます。 遠隔実行のミドルウェアにはGlobusToolkitを採用しました。 プロトタイプ1ではGlobusToolkit バージョン2、 プロトタイプ2ではバージョン3のグリッドサービスを利用しました。

メタデータ データサーバ・解析サーバの情報 天文データについての情報 実装方法 観測装置、波長、時刻、天域、... プロトタイプ1: UDDI プロトタイプ2: XMLDB メタデータについては、 データや解析サービスがどのサーバにあるかという情報 天文データについてのメタデータ、たとえば 観測装置、波長、時刻、天域、といった情報があります。 どうやって検索するか方法 プロトタイプ1: Webサービスを検索するためのUDDIを流用、 プロトタイプ2: それを見直してXMLDBを採用しました

分散サーバ間のデータフォーマット VOTable (天体カタログ) FITS (画像など) XML形式のテーブルフォーマット テーブルデータ本体と、カラムの情報を表現 国際的なVOで標準となる見込み FITS (画像など) 画像などのバイナリデータを交換するための、天文学標準のフォーマット 分散サーバ間でやりとりするデータのフォーマットとしては2種類あり、 1つは、VOTable 、これは天体カタログのデータフォーマットですが、  欧米のVOチームで策定されたXML形式のフォーマットで、 テーブルデータ本体と、カラムが何を意味しているかとか単位などの情報を含むこととができます。 国際的なVOで標準となる見込みとなっています FITS (画像など) 画像などのバイナリデータを交換するための、 古くから天文学標準となっているフォーマット

検索指示の例 select i.ra, i.dec, i.iband, z.ra, z.dec, z.zband from naoj.i.sdf as i naoj.z.sdf as z where XMATCH(i,z) < 10 arcsec NEAREST and BOX(POINT(201, 27.4), 0.1, 0.1) これは前の白崎の発表にありました、検索言語JVOQLで書かれた検索条件の例です。 from phraseでは2つのテーブルを指定しています where phraseには、前の白崎の発表でありましたように、 2つのテーブルでのクロスマッチ条件と、 領域条件を指定しています。 これをJVOシステムに渡されると、 分散サーバにどうアクセスするか、説明します。

JVOプロトタイプ動作 実行制御 ポータルサーバに JVOQLを送信 ログイン 利用者 実行開始 クロスマッチ 結果 JSP VOTable Grid JSP サーブレット Solaris レジストリサーバ UDDI  or Grid メタデータ Linux データベースサーバ 検索 サービス RDB 天体カタログ 利用者 JVOQLを送信 実行開始 クロスマッチ 結果 VOTable 利用者に表示 2つの データベースサーバに 個数検索実行命令 JVOQLをパースして、 データがどのサーバにあるか レジストリに問い合わせ VOTtableと データベースで クロスマッチ検索 ヒット数が少ない方の データベースサーバ から検索実行 検索結果 VOTable クロスマッチ 結果 VOTable

プロトタイプ1と2の比較 プロト1 利用 技術 評価 プロト2 遠隔実行 GRAM (Globus Tk2) 1 Step 20数秒  大部分は実処理以外  ポーリングの待ち時間 Grid Service (Globus Tk3) 1 Step 2-3秒  大部分は実処理時間  オーバヘッドは平均30ms メタデータ検索 UDDI サービス提供サーバのみ引き当て XMLDB (カレアレア) メタデータを検索して天体カタログを見つけることが可能に 以上の動作をするプロトタイプを実装しました。 プロトタイプ1と2の比較について述べます。 プロトタイプ1では遠隔実行にglobus toolkit version2を使いましたが、 1ステップの実行時間が20数秒かかりました。 これは大部分が実処理以外のポーリング待ち時間でした 一方プロと2では、globus toolkit version 3のグリッドサービスを用いており、 これによって1ステップの実行時間が2-3秒程度、 オーバーヘッドは30ms程度と実用上問題ない程度になりました。 一方メタデータ検索については、 プロトタイプ1では、Webサービスの検索のためのUDDIを用いたため、 サービス提供サーバのみ引き当てることができました。 一方プロトタイプ2では、XMLDBを用いことにより、 メタデータを検索して分散データサーバに保管された天体カタログを見つけることが持つことが可能になりました。

インタラクティブセッション I-9 No.5 本田他 実装した 解析サービス 重力レンズ天体候補探し 2重像天体を自動検出 人力では数時間かかっていた解析が、数分で可能に 詳細・デモンストレーションは、 インタラクティブセッション I-9 No.5 本田他 をご覧ください JVOプロトタイプでこれまでに実装した解析サービスは、 重力レンズ天体候補探しです これは重力レンズによって2重像となった天体を、膨大なデータから自動検出するためのサービスです。 人力でデータの用意からおこなうと数時間かかっていた解析が、 JVOによって数分でおこなうことが可能になりました。 この詳細およびJVOデモンストレーションを インタラクティブセッション I-9 No.5 本田他 でおこなっていますので、 ご覧ください

課題 検索・解析サービスの構築が難しい グリッドサービスはJavaで書く必要がある 天文用解析ツールは、他の言語で書かれていたり、コマンドになっていたりする そういうツールを簡単にサービスに組み込みたい 何らかの変換のための仕組みが必要

まとめ JVOプロトタイプを開発し、我々が定義したJVOQLによる、分散データサーバ間での連携検索を実証した。 プロトタイプ1での問題点を、プロトタイプ2では グリッドサービスにより、遠隔実行のオーバーヘッドを解消した XMLDBにより、テーブル検索を可能にした 今後、機能拡充し、本運用システムの開発をおこなう。