バーチャル天文台標準規約の紹介と運用への取り組み、そしてサイエンスの実践

Slides:



Advertisements
Similar presentations
VO2014 ( 睦月 ) 講習会 AGN と銀河のクラスタリング 解析 国立天文台 天文データセンター 白崎裕治.
Advertisements

日本学術会議マスタープランへの提案 ガンマ線バーストを用いた初期宇宙探査計画 HiZ-GUNDAM 主査: 米徳 大輔(金沢大学) HiZ-GUNDAM WG 光赤天連シンポジウム「光赤外将来計画:将来計画のとりまとめ」( 2016/02/09 – 10 国立天文台.
銀河物理学特論 I: 講義1:近傍宇宙の銀河の 統計的性質 遠方宇宙の銀河の理解のベースライン。 SDSS のデータベースによって近傍宇宙の 可視波長域での統計的性質の理解は飛躍的 に高精度になった。 2009/04/13.
Webサービスに関する基本用語 Masatoshi Ohishi / NAOJ & Sokendai
宇宙大規模構造の最近の話題 計60分 松原隆彦 (名古屋大学) 東北大学 21COE研究会
JPAを利用した RESTful Webサービスの開発
.NET テクノロジー を利用した SAP ソリューションの拡張 (3階層化) (評価環境構築ガイド)
VO講習会2013春 VOツール使用法(1) TOPCAT 国立天文台 天文データセンター 小宮 悠.
国立天文台 天文学データ解析計算センター 白崎裕治
REST型Webサービスによる 楽曲検索システムの開発
オープンデータ流通推進コンソーシアム 情報流通連携基盤外部仕様書の 改訂案
WSDL と JAX-RPC 年10月13日 Webサービス II (第3回) WSDL と JAX-RPC 年10月13日.
VO ツール利用法 Specview 国立天文台 天文データセンター 白崎 裕治.
VO講習会 2015如月 (2015年2月26-27日、国立天文台三鷹)
すばる秋の学校2007 公開アーカイブ活用 (プロポーザル準備のために)
VO 概論 国立天文台 天文データセンター 白崎 裕治.
2005年11月17日 Webサービス II (第6回) 年11月17日.
最新情報技術を活用した超大規模 天文データ解析機構の研究開発
Solar-B データベース およびデータ解析環境
AOによる 重力レンズクェーサー吸収線系の観測 濱野 哲史(東京大学) 共同研究者 小林尚人(東大)、近藤荘平(京産大)、他
OAI-PMHの適用事例 -千葉大学学術情報リポジトリとNIIメタデータ・データベースとの相互運用-
空間メタデータ整備 における課題 園山 実 三菱総合研究所.
HTTPプロトコルとJSP (1) データベース論 第3回.
銀河物理学特論 I: 講義3-3:光度関数の進化 分光探査サンプルによる Lilly et al. 1995, ApJ, 455, 108
FM-Tokyo Oct 30, 2004 やっと見えた! FileMaker Server Avancedの全貌
HTTPプロトコル J2EE I 第7回 /
サーバ構成と運用 ここから私林がサーバ構成と運用について話します.
教育系サブジェクトリポジトリとしての展開
WSDL と JAX-RPC 年10月20日 Webサービス II (第4回) WSDL と JAX-RPC 年10月20日.
2005年10月6日 植田龍男 Webサービス II (第2回) 年10月6日 植田龍男.
(B2) 親: minami, kazuki 多様な認証機器に対応する 認証システム (B2) 親: minami, kazuki.
.NET テクノロジー を利用した SAP ソリューションの拡張 (3階層化) (評価環境構築ガイド)
2018/9/21 JVOの研究開発 国際連携と全体進捗 国立天文台 & 総合研究大学院大学     大石雅寿 2004/03/23
JVO (Japanese Virtual Observatory) の研究開発 V03c
トランジット法による低温度星まわりの地球型惑星探索と大気調査
e-サイエンス推進のための 広域分散ファイルシステムの 適用と評価
DataGrid ミニワークショップ@天文台 12/12
神戸大大学院集中講義 銀河天文学:講義6 特別編 観測装置の将来計画
第2回.リレーショナルデータベース入門 SQL を用いたテーブルへの行の挿入 SQL 問い合わせの発行と評価結果の確認.
マルチメディア・コンテンツの 配送・フィルタリング機構
VO ツール利用法 TOPCAT 国立天文台 天文データセンター 白崎 裕治.
MOAデータベースを用いた 超長周期変光星の解析
邑久(おく)天文台サーベイによる新変光天体の検出 中島洋一郎 、大倉信雄 (MISAOプロジェクト)
KUGカタログとSDSS 画像データとの照合
只見町 インターネット・エコミュージアムの「キーワード」検索の改善
JVOの研究開発 (メタデータ交換の国際対応)
COSMOSプロジェクト: z ~ 1.2 における星生成の環境依存性 急激な変化が起こっていると考えられる z ~1 に着目し、
JVO の研究開発 -- バーチャル天文台に対応した データサービスの実装 --
JVO (Japanese Virtual Observatory) の研究開発
Internet広域分散協調サーチロボット の研究開発
VO2015 (如月) 講習会 AGNと銀河のクラスタリング解析
ミドルウェア”TSUNAGI”を 用いたWEBアプリケーションの構築
実習課題B 金属欠乏星の視線速度・組成の推定
COSMOS天域における ライマンブレーク銀河の形態
端末およびサービス透過的な 情報閲覧支援システムの構築
外部仕様書・オープンデータガイド精査方針
小型JASMINE計画の状況       矢野太平(国立天文台)       丹羽佳人(京大).
小さな銀河の外縁部の観測 (ハロー) 07553032 真鍋 未来.
情報コミュニケーション入門b 第11回 Web入門(2)
JVOの研究開発 (プロトタイプ2の実装) 田中昌宏、白崎裕治、本田敏志、 大石雅寿、水本好彦(国立天文台)、
国立国会図書館の インターネット上の 情報資源に対する取り組み
ALMAへの期待 -埋れたAGNの探査から-
白崎裕治, 田中昌宏, 本田敏志, 大石雅寿, 水本好彦 (国立天文台), 安田直樹 (東大宇宙線研), 増永良文 (お茶の水大)
COSMOS天域における赤方偏移0.24のHα輝線銀河の性質
CO-Client Opeartion 1.1 利用履歴データベースの設計 (スキーマ バージョン 対応)
オントロジーを利用した Webサービスの実行支援に関する研究
COSMOS天域における 高赤方偏移低光度クェーサー探査
JVOプロトタイプ システムの開発 DEWS2004 2004年 3月 5日 田中 昌宏、白崎 裕治、 本田 敏志、
第2回.リレーショナルデータベース入門 SQL を用いたテーブルへの行の挿入 SQL 問い合わせの発行と評価結果の確認.
HTTPプロトコルの詳細 M1 峯 肇史.
Presentation transcript:

バーチャル天文台標準規約の紹介と運用への取り組み、そしてサイエンスの実践 国立天文台 天文データセンター 白崎裕治

バーチャル天文台 最小限の構成要素 データサービス データサービスのデータベース 天文データベース+標準インターフェイス データサービスのデータベース 標準化されたメタデータ+自動収集システム 上記二つを利用してデータを自在に発見・取得可能にするアプリケーション クライアント型アプリ サーバ型アプリ 両者の中間型?

バーチャル天文台アーキテクチャ バーチャル天文台基本規約 レジストリ サービス データ利用をより向上させるための規約 データサービス 公開用 URL … にアクセスしてください。 バーチャル天文台基本規約 メタデータ記述のフォーマット データ記述のフォーマット メタデータ公開のための IF メタデータ検索 IF データ検索 IF 基本データモデル レジストリ サービス すばる望遠鏡のデータはどこにありますか? 新たに登録されたサービス情報をください。 公開用 レジストリ 公開用 レジストリ ストレージサービス 解析 サービス データ利用をより向上させるための規約 ストレージ利用のための IF 解析サービス実行 IF … かに星雲の画像をください。 私はこんなデータを持ってます。アクセス URL は … です。 データサービス URL … からダウンロードしてください。

VO インターフェイスの実例

リソースメタデータの内容 リソース識別情報 発行情報 データの内容に関する情報 データアクセスに関する情報 その他のリソース毎の固有情報 識別 ID、タイトル … 発行情報 データ公開責任者、データ作成責任者 データの発行日、バージョン名 … データの内容に関する情報 データの説明文、利用目的・対象者種別 観測にかかわる情報(装置名、波長域、観測領域等) データアクセスに関する情報 アクセス URL インターフェイスの仕様種別 その他のリソース毎の固有情報

メタデータフォーマット例 <Resource updated=“2006-01-04” xsi:type="SimpleImageAccess"> <title>Sloan Digital Sky Survey DR4 - Images</title> <shortName xsi:type="xsd:string">SDSSDR4</shortName> <identifier xsi:type="xsd:anyURI">ivo://sdss.jhu/services/SIAPDR4-images</identifier> <curation> <publisher ivo-id="NOT PROVIDED">The Johns Hopkins Univer</publisher> <contributor>U. Chicago, Fermilab, IAS, JPG, JHU, LANL, MPIA, MPA, NMSU, U. Pittsburgh, Princ</contributor> <version>DR4</version> </curation> <content> <subject>Images</subject> <description>The Sloan Digital Sky Survey is … </description> <referenceURL>http://www.sdss.jhu.edu/</referenceURL> <contentLevel>Research</contentLevel> </content> <interface xsi:type="ns9:ParamHTTP"> <accessURL> http://casjobs.sdss.org/vo/DR4SIAP/SIAP.asmx/getSiapInfo?&FORMAT=image/fits&BANDPASS=ugriz& </ns8:accessURL> </interface> </Resource>

Publishing Registry:データベース公開のためのデータベース) OAI-PMH (Open Archives Initiative) 図書情報の交換などでも利用されている。 http get による XML 文書の交換 JVO の Publishing Registry に登録されている全メタデータを取得 http://jvo.nao.ac.jp/publishingRegistry1.0/oai.pl?verb=ListRecords&metadataPrefix=ivo_vor from, until パラメータにより登録時刻による選択的取得も可能。 全世界 14 拠点でメタデータの配信

Searchable Registry : 検索用メタデータデータベース 検索インターフェイスは SOAP Web Service キーワード検索 詳細条件指定:SQL の Where 節 リソース ID による検索 ポータルサービス等がユーザに代わってサービスを見つける ユーザが自分で SOAP Client を書いて使ってももちろんよい。

データ検索 http get / post によるパラメータ指定検索 主要な検索パラメータ名を定義 POS, SIZE, FORMAT, QUERY… http://jvo.nao.ac.jp/siap/sxds.do?pos=34.2,-5.0&size=0.01 検索結果は VOTable フォーマット 観測データ検索(画像、スペクトル)の場合観測データのメタデータとその URL カタログデータ(テーブル)検索の場合は条件を満たす部分テーブル

VOTable VOTABLE TABLE @ID, @name, @ref, @ucd, @utype, @nrows DESCRIPTION FIELD... PARAM... GROUP... LINK... DATA @ID, @name, @ref, @ucd, @utype, @nrows DESCRIPTION COOSYS… PARAM…  INFO…  RESOURCE… DESCRIPTION FIELD DESCRIPTION VALUES LINK @ID, @unit, @datatype, @precision, @width, @ref, @name, @ucd, @utype, @arraysize, @type INFO... COOSYS... PARAM... LINK... TABLE... DATA TABLEDATA | BINARY | FITS RESOURCE...

VOTable の例 <?xml version="1.0"?> <VOTABLE version="1.1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:noNamespaceSchemaLocation="http://vizier.u-strasbg.fr/xml/VOTable-1.1.xsd"> <DEFINITIONS> <COOSYS ID="J2000" equinox="2000." epoch="2000." system="eq_FK5"/> </DEFINITIONS> <RESOURCE name="myFavouriteGalaxies"> <TABLE name="results"> <DESCRIPTION>Velocities and Distance estimations</DESCRIPTION> <PARAM name="Telescope" datatype="float" ucd="TEL_SIZE" unit="m" value="3.6"/> <FIELD name="RA" ID="col1" ucd="POS_EQ_RA_MAIN" ref="J2000" datatype="float" width="6" precision="2" unit="deg"/> <FIELD name="Dec" ID="col2" "POS_EQ_DEC_MAIN" ref="J2000" datatype="float" <FIELD name="Name" ID="col3" ucd="ID_MAIN" datatype="char" arraysize="8*"/> <FIELD name="RVel" ID="col4" ucd="VELOC_HC" datatype="int" width="5" unit="km/s"/> <FIELD name="e_RVel" ID="col5" ucd="ERROR" datatype="int" width="3" unit="km/s"/> <FIELD name="R" ID="col6" ucd="PHYS_DISTANCE_TRUE" datatype="float" width="4" precision="1" unit="Mpc"> <DESCRIPTION>Distance of Galaxy, assuming H=75km/s/Mpc</DESCRIPTION> </FIELD> <DATA> <TABLEDATA> <TR> <TD>010.68</TD><TD>+41.27</TD><TD>N 224</TD><TD>-297</TD><TD>5</TD><TD>0.7</TD> </TR> <TD>287.43</TD><TD>-63.85</TD><TD>N 6744</TD><TD>839</TD><TD>6</TD><TD>10.4</TD> <TD>023.48</TD><TD>+30.66</TD><TD>N 598</TD><TD>-182</TD><TD>3</TD><TD>0.7</TD> </TABLEDATA> </DATA> </TABLE> </RESOURCE> </VOTABLE>

運用への取り組み データサービスの拠点をいかにして増やしていくか VO でデータ公開したいという要望にどう答えているか

バーチャル天文台参加方法 保有するデータをバーチャル天文台で流通させてより多くの人達に使ってもらいたい 3種のアプローチを提案 VO プロジェクトに一任 検索サービスのみ VO プロジェクトに委託、データ本体はプロバイダーの計算機からダウンロード VO プロジェクトが開発したツールキットを利用して検索サービスもデータ本体もプロバイダの計算機上で動かす もちろん、ツールキットに相当するものを自分達 で開発してもよいが、http サーバーを自分達で 作ったりはしないのと同様非現実的

実例1:VOプロジェクト一任タイプ 南アフリカ望遠鏡データベース データベースを運用するための拠点が未整備。 マゼラン雲の画像データを JVO システム上で公開 データ保有者側はデータリダクションやカタログ作成など、非 VO 的作業をしてもらう。 JVO 側で VO 標準インターフェイスによる検索サービスの立ち上げと、画像取得の http インターフェイスを実装 データ量が 1TB 程度以下なら可能

実例2:VO検索サービスのみ VO プロジェクトに委任 その1 北大 金属欠乏星データベース VO 上にも公開し、より多くの人に使ってもらい たい。 自ホストのサービスも使ってほしい。 検索条件として使われそうなデータのみを JVO シ ステム上に展開し、 VO サービスを立ち上げ。 検索結果に北大データベースの参照 URL を含める ことにより、北大のサービスへも利用者を誘導 VO サービスを自ホストで立ち上げなくても、VO への参加が可能になり、自ホストへの呼び込みも 期待される。

実例3: VO検索サービスのみ VO プロジェクトに委任 その2 埼玉大 ガンマ線バースト観測カメラ 撮りためた膨大なデータ (~15TB) を有効利用してもらうため VO で公開したい。 データ本体は埼玉大でホストしてもらう。 データ検索のためのメタデータリストを作ってもらい JVO システム上に展開。 検索サービスは JVO でホストする。 膨大なデータを VO で公開する場合に有効

実例4:VOプロジェクトが提供する Toolkit を利用して、自ホストでに VO サービス展開 宇宙線研 SDSS データベース Toolkit を利用した VO サービス立ち上げ試験 サービスの立ち上げ自体は宇宙線研の担当者にお願い。マニュアルにそって実施してもらった。 約半日の作業で VO サービスの起動に成功。 ただし、インタラクションがいくつか必要だった。マニュアルを改訂して対応。 データセンターなどの機関での利用を期待。

VO を使ったサイエンスケース 大量のデータを使った研究 自分の観測したデータを補足するためのデータ を探す 本観測前の事前準備 レアなイベント(天体)を見つける 多数のサンプルにもとづく宇宙の平均像を探る 自分の観測したデータを補足するためのデータ を探す X線観測の研究者が可視光データを参照する 本観測前の事前準備 過去にとられたデータをみて観測プランを練る

JVO グループで計画・実行中のサイエンステーマ QSO環境から銀河形成シナリオを検証(白崎) 晩期型星の分類(田中) 大質量星生成コアの探査(大石) SED に基づく銀河種別の分類(水本)

QSO環境から銀河形成シナリオを検証 階層的銀河の形成モデル: これまでの観測: 我々の目的: 小銀河が合体を繰り返し大銀河へ成長 z < 1.0 せいぜい数十個の統計にもとづく議論 我々の目的: より遠方 z = 1.0 ~ 3.0 高統計 (N > 1000) QSO と周辺銀河の分布を理論モデルと比較、検証

方法 既知の QSO/AGN カタログ Subaru 8.2m 望遠鏡による深い撮像データ UKIDSS (近赤外) カタログも利用 ~100,000 個 (SDSS, 2dF 等) Subaru 8.2m 望遠鏡による深い撮像データ 暗い銀河まで検出 JVO の並列計算システムにより全画像データを解析済み UKIDSS (近赤外) カタログも利用 z > 1.2 の銀河検出に有効 QSO 周辺の、すばるの画像を検索する SQL を実行      SELECT qso.*, img.* FROM ivo://jvo/vizier/VII/235:qso_veron_2006 qso, ivo://jvo/subaru/spcam:spcam_mos_view AS img WHERE qso.z >= 1.0 AND qso.z < 1.2 AND img.region = Circle((qso.raj2000, qso.dej2000), 0.01) すばる画像が見つかった QSO について UKIDSS データを検索 すばる画像からカタログ作成、UKIDSS カタログとマージ QSO からの角距離ごとに銀河数をカウント

検索されたサンプルの赤方偏移分布 JVO を利用することにより、これだけの数のQSO Deep 画像を一日足らずで取得可能 z < 4 の QSO 約 1,000個 JVO を利用することにより、これだけの数のQSO Deep 画像を一日足らずで取得可能

結果 (z < 1.1) 一桁高いサンプル数で QSO 周辺への銀河のクラスタリングを検出 Density (Mpc-2) Distance (Mpc) Distance (Mpc) 一桁高いサンプル数で QSO 周辺への銀河のクラスタリングを検出

結果 (z > 1.1) 一桁高いサンプル数だが銀河のクラスタリングは検出されず 観測時間の短いデータが多いため? 可視光で暗く、近赤外でも UKIDSS の感度以下? より詳細な解析を実施中

まとめ VO 標準インターフェイスを利用した Web ポータル を開発し、基本的な機能を実装したものが稼働開始した。  データコンテンツの充実が現在の課題である。  データを持っているグループが簡単に VO に参加で きるようなシステムを確立するのが急務  VO を使うことによってこれまでは実現が難しかった 研究が簡単にできることになることを実演していくことも 必要