JVO の研究開発 -- バーチャル天文台に対応した データサービスの実装 --

Slides:



Advertisements
Similar presentations
JVO の研究開発(コスミックストリング探査への応 用) V04b 白崎裕治 1,8 、田中昌宏 1 、本田敏志 1 、大石雅寿 1 、水本好彦 1 、矢作日出樹 1 、小杉城治 1 、柏川伸成 1 、松崎英一 2 、安田直樹 3 、長 島雅裕 4 、増永良文 5 、石原康秀 6 、阿部勝巳 6 、堤純平.
Advertisements

 世界中の天文データサービスへの一つの窓口 − どういったデータがあるのか探す − データを検索し取得する。 − 取得したデータをクイックルックする  天文関連ツールのオンラインサービス(開発中) − 天体検出、Photo-Z、… − 各種単位変換(距離、明るさ…) 等  すばる望遠鏡のデータリダクション.
1 銀河系力学構造の 構築について 上田晴彦 ( 秋田大学 ) 郷田直輝, 矢野太平 ( 国立天文台 ) 竹原理論物理学研究会 2011年6月7日 ホテル大広苑.
VO2014 ( 睦月 ) 講習会 AGN と銀河のクラスタリング 解析 国立天文台 天文データセンター 白崎裕治.
JVO Portal の使い方 国立天文台 天文データセンター 白崎裕治.
バーチャル天文台標準規約の紹介と運用への取り組み、そしてサイエンスの実践
情報理工学部 情報システム工学科 ラシキアゼミ 3年 H 井奈波 和也
Webサービスに関する基本用語 Masatoshi Ohishi / NAOJ & Sokendai
情報理工学部 情報システム工学科 3年 H 井奈波 和也
宇宙大規模構造の最近の話題 計60分 松原隆彦 (名古屋大学) 東北大学 21COE研究会
JPAを利用した RESTful Webサービスの開発
MySQLに接続するデータベースプログラム
VO講習会2013春 VOツール使用法(1) TOPCAT 国立天文台 天文データセンター 小宮 悠.
国立天文台 天文学データ解析計算センター 白崎裕治
IDLTM/IONTMを使用した UDON (Universe via Darts ON-line) プロトタイプの作成
『どこでも運用システム』の開発状況 (第二報) iPad版衛星状態監視システム (プロトタイプ) どこでも運用システムと他システムとの接続
VO ツール利用法 Specview 国立天文台 天文データセンター 白崎 裕治.
Cosmic web 交差点の X 線探索: 衝突銀河群 Suzaku J の発見
VO講習会 2015如月 (2015年2月26-27日、国立天文台三鷹)
全天X線監視装置(MAXI)の 地上処理システムの現状 小浜 光洋、三原 建弘(理化学研究所)、佐藤俊宏、小笠原 直進、
すばる秋の学校2007 公開アーカイブ活用 (プロポーザル準備のために)
VO 概論 国立天文台 天文データセンター 白崎 裕治.
最新情報技術を活用した超大規模 天文データ解析機構の研究開発
Solar-B データベース およびデータ解析環境
AOによる 重力レンズクェーサー吸収線系の観測 濱野 哲史(東京大学) 共同研究者 小林尚人(東大)、近藤荘平(京産大)、他
XML データベース XRel の実装とその評価
(B2) 親: minami, kazuki 多様な認証機器に対応する 認証システム (B2) 親: minami, kazuki.
SAP & SQL Server テクニカルアーキテクチャ概要 マイクロソフト株式会社 SAP/Microsoft コンピテンスセンター
.NET テクノロジー を利用した SAP ソリューションの拡張 (3階層化) (評価環境構築ガイド)
2018/9/21 JVOの研究開発 国際連携と全体進捗 国立天文台 & 総合研究大学院大学     大石雅寿 2004/03/23
JVO (Japanese Virtual Observatory) の研究開発 V03c
Data Grid Mini WorkShop
自己組織化型P2P検索システム : TellaGate 小島 一浩 独立行政法人 産業技術総合研究所
「串刺し」研究アプローチの例 e-learning e-space 動画配信 システム SOI Smart Web ストリーミング技術
ワークフローシステムの開発 ワークフロー言語の必要性 XMLワークフロー言語の仕様 ワークフロー言語により、処理手順を記述し、
世界初のX線光子データベース「MAXI地上データベース」の 実現に向けた性能試験
e-サイエンス推進のための 広域分散ファイルシステムの 適用と評価
DataGrid ミニワークショップ@天文台 12/12
SQL パフォーマンス チューニング ~ カバーリングインデックス/クエリヒントの利用~
ネットワークプログラミング論 平成28年12月26日 森田 彦.
JDBC J2EE I 第4回 /
識別子の命名支援を目的とした動詞-目的語関係の辞書構築
わんくま同盟・techbank.jp 夏椰 Insight Technology, Inc. 今川 美保
VO ツール利用法 TOPCAT 国立天文台 天文データセンター 白崎 裕治.
理学部 情報科学科 指導教官 千葉 滋 助教授 学籍番号 03_03686 内河 綾
JDBC データベース論 第12回.
Javaによる Webアプリケーション入門 第7回
KUGカタログとSDSS 画像データとの照合
JVOの研究開発 (メタデータ交換の国際対応)
JVO (Japanese Virtual Observatory) の研究開発
VO2015 (如月) 講習会 AGNと銀河のクラスタリング解析
ミドルウェア”TSUNAGI”を 用いたWEBアプリケーションの構築
JVOの研究開発:全体進捗 データベース国際連携の成功
COSMOS天域における ライマンブレーク銀河の形態
端末およびサービス透過的な 情報閲覧支援システムの構築
瀬戸直樹 (京大理) 第7回スペース重力波アンテナDECIGOワークショップ 国立天文台
宇宙科学統合解析環境の構築とAstro-E2解析支援
JDBC J2EE I (データベース論) 第5回 /
情報システム1及び演習 第一回 データベースの概要.
Java における 先進的リフレクション技術
JDBC ソフトウェア特論 第3回.
JVOの研究開発 (プロトタイプ2の実装) 田中昌宏、白崎裕治、本田敏志、 大石雅寿、水本好彦(国立天文台)、
全天X線監視装置 MAXI 地上データ処理システムの開発 Ⅲ ー 突発天体発見システムの開発 ー
メソッドの同時更新履歴を用いたクラスの機能別分類法
白崎裕治, 田中昌宏, 本田敏志, 大石雅寿, 水本好彦 (国立天文台), 安田直樹 (東大宇宙線研), 増永良文 (お茶の水大)
CO-Client Opeartion 1.1 利用履歴データベースの設計 (スキーマ バージョン 対応)
エイリアス関係を考慮した Javaプログラム用静的スライシングツール
COSMOS天域における 高赤方偏移低光度クェーサー探査
JVOプロトタイプ システムの開発 DEWS2004 2004年 3月 5日 田中 昌宏、白崎 裕治、 本田 敏志、
地理情報コンテンツ・データベースコンテンツ新規作成
Presentation transcript:

JVO の研究開発 -- バーチャル天文台に対応した データサービスの実装 --  国立天文台  白崎裕治 国立天文台 大石雅寿,水本好彦,田中昌宏, 川野元聡,本田敏志,大江将史 宇宙線研 安田直樹, お茶の水女子大 増永良文, 富士通 石原康秀,山崎昭一,瓦井健二 セック 中本啓之,小林佑介,吉田徳夫

内容 バーチャル天文台 (VO) 対応データサービスとは? VO 対応データサービス作成ツールキットの開発について どういった機能をもてばよいのか VO 対応データサービス作成ツールキットの開発について そうした機能を RDB (Oracl, PostgreSQL, etc) に容易に追加するためのソフトウエア ツールキットの適用事例と天文学研究への応用例の紹介

VO 対応データサービスとは? 国際バーチャル天文台連合 (IVOA) において規定された標準インターフェイスを実装したデータ検索サービス。 検索条件の指定方法の標準  SIAP, SSAP, ADQL 検索結果フォーマットの標準  VOTable サービス利用者のメリット VO ポータルの利用により、様々な種類のデータベースへシームレスにアクセスできる。 複数のデータサービスと解析サービスを組み合わせることにより、自分の研究目的にあったサイエンスサービスを自分で構築可能。 サービス提供者のメリット GUI は自分で作る必要はない。VO ポータルが肩代わり。 専用 GUI が必要な場合でも、データサービスとは独立に開発可能。 開発コストの削減、 迅速なデータ公開、共同開発が容易 ...

VO 標準の検索命令 SIAP  Parameter query (Http/Get, Post) http://jvo.nao.ac.jp/searchImage?POS=132.5,23.5&SIZE=1.0&FORMAT=image/fits ADQL  XML (Http/Post + SOAP) <Select xmlns:ns1="urn:vo-coord" xmlns:region="urn:vo-region" xmlns="http://www.ivoa.net/xml/ADQL/v0.8"> <SelectionList> <Item Table="spcam" Name="ra" xsi:type="columnReferenceType"/> <Item Table="spcam" Name="dec" xsi:type="columnReferenceType"/> <Item Table="spcam" Name="mag" xsi:type="columnReferenceType"/> </SelectionList> <From> <Table Name="spcam" Alias="" xsi:type="tableType"/> </From> <Where> <Condition xsi:type="regionSearchType"> <Region> <region:Circle unit="deg" coord_system_id="IRCS"> <region:Center>20.0 30.0</region:Center> <region:Radius>1.0</region:Radius> </region:Circle> </Region> </Condition> </Where> </Select> Select ra, dec, mag From spcam Where (ra, dec) within Point((20, 30), 1.0)

データ・解析サービスの利用形態 複合サービス 基本サービスの様々な組み合わせ  自分の研究目的にあった解析システムの構築が可能 サイエンスサービス 3 複合サービス 個人開発アプリ 基本サービスの様々な組み合わせ  自分の研究目的にあった解析システムの構築が可能 サイエンスサービス 1 サイエンスサービス 2 複合サービス データサービス4 基本サービス 解析サービス 1 解析サービス 2 データサービス2 データサービス1 データサービス3

VO データサービスツールキット Axis engine deserialize serialize Tomcat container JDBC で接続可能な RDB を VO 化するためのソフトウエアコンポーネント群 Axis engine ADQL を標準 SQL へ変換 :QueryExecuter execute() ... 適切なQueryExecuter オブジェクトを生成 RDB :Statement execute() ... deserialize object catalog frame metadata db/table/column metadata SkyNode I/F による検索 ADQL (XML) :SkyNodeSOAP performeQuery() ... :Connection createStatement() ... データベースとのコネクション (JDBC) VOTable (XML) serialize SIAP による画像検索 SIAP I/F による検索。 画像要求。 Unix file system FITS file :ActionServlet doGet() doPost() ... :ImageRequestAction execute() ... Parameter Map 画像の取得 VOTable (XML) Image Tomcat container

ツールキット適用方法 データは JDBC で接続可能な RDB に格納 データベース、テーブル、カラムのメタ情報を保持するテーブルを作成 座標データに対応する HTM index データを保持するカラムをテーブルに追加する。 または別テーブルにジョイン可能な状態で格納されていること。 クロスマッチ検索の場合は検索領域データを保持できる書き込み可能なテーブルが必要。 詳細なドキュメントは学会終了後に作成開始し、4月末を目処に一般公開する。

ポスター(V87c 川野元)の前でデモの実演を行いました。 ツールキット適用事例 JVO 開発環境上に作られたすばる SuprimeCam 試験データベースへ適用 国立天文台データセンターが運用している SDSS DR2 への適用 JAXA/ISAS DARTS システムへの適用 ポスター(V87c 川野元)の前でデモの実演を行いました。

クエーサと銀河のクラスタリング研究 QSO は大規模構造のトレーサ  hierarchical clustering model すばるのアーカイブデータからクエーサが含まれる画像データを取得し、クエーサ周辺の銀河の分布を調べる。 大規模構造の起源解明 QSO は大規模構造のトレーサ  hierarchical clustering model 観測データと理論モデルの比較を high-z まで. QSO の起源 QSOの明るさの起源はなにか? 銀河衝突起源モデルの検証

ワークフロー クエーサカタログデータベースからクエーサの座標情報等を取得する。 SuprimeCam 画像データベースへクエーサを含む画像の検索要求を行う。 天体検出サービスを呼び出し、取得した画像データからカタログを作成。 フォトメトリックレッドシフト計算サービスを呼び出し、検出された天体の赤方偏移推定を行う。 クラスタリング評価サービスを呼び出し、クエーサと銀河のクラスタリング度を調べる。

QSO-Galaxy Search クエーサ検索領域 画像サイズ

ポスター(V87c 川野元)の前でデモの実演を行いました。 QSO Search Plot Photometric Redshift

まとめ VO データサービスツールキットを作成しました。 すばる Suprime-Cam 画像データベース、SDSS DR2、2MASS DB、ISAS/DARTS 等に適用した。 VOデータサービスと解析サービスの連携を実現しました。 ツールキットは4月末を目処に公開予定。

サイエンスユースケース

JVO プロトタイプ 3 の構成 NAOJ LAN DMZ 他のVO ポータル jvo.nao.ac.jp User Searchable regisry VO Portal SOAP SOAP 他のVO データサービス Get/Post SOAP Get/Post Get/Post Data/Analysis servers /portal Proxy server 他のVO ポータル FW/Proxy server /skynode, /siap jvo.nao.ac.jp SOAP, Get/Post OHI-PMH User /publishingRegistry Publishing regisry

Region Search using HTM index Region search is a common search criterion for an astronomical database. For efficient search data should be properly indexed on the object coordinate. Catalog table HTM Index table id ra dec mag 1 12.3 -23.4 18.4 2 38.5 +34.2 16.5 … id htm 1 16522516 2 16754765 … Select ra, dec, mag From Catalog Where Point(ra,dec) within Box((20,+15), 1.0) Select c.ra, c.dec, c.mag From Catalog c Natural Join htmIndex i Where i.htm between 16522500 and 16522512 OR i.htm between 16522515 and 16522518 … http://www.sdss.jhu.edu/htm/