DB天文学推進室検討報告 Japanese Virtual Observatoryの構築

Presentation on theme: "DB天文学推進室検討報告 Japanese Virtual Observatoryの構築"— Presentation transcript:

1 DB天文学推進室検討報告 Japanese Virtual Observatoryの構築
2018/11/9 DB天文学推進室検討報告 Japanese Virtual Observatoryの構築 水本好彦・安田直樹・大石雅寿 2018/11/9 DB推進室報告会

2 概 要 近年の半導体技術，望遠鏡技術の進展により大規模なサーベイデータを取得し，研究できる時代になった｡
概　要 近年の半導体技術，望遠鏡技術の進展により大規模なサーベイデータを取得し，研究できる時代になった｡ これを可能とするために，天文学に情報学や計算機科学の成果を結合したVirtual Observatoryを構築し，ネットワーク上の観測データをいつでも観測できる研究環境を整える。 2018/11/9 DB推進室報告会

3 天文データベースの現状 世界の天文データベース 日本の天文データベース 2018/11/9 DB推進室報告会

4 世界の天文データベース(1) NASA National Space Science Data Center – COBE, IUEデータの公開 NASA Goddard Space Flight Center – h高エネルギー天文衛星データの公開 Infrared Processing and Analysis Center – IRASデータの公開 Space Telescope Science Institute – HSTデータの公開 2018/11/9 DB推進室報告会

5 世界の天文データベース(2) Canadian Astronomy Data Center
Rutherford Appleton Laboratory -- STARLINK, IRAS, ROSAT, IUE, ISO 地上観測のデータベース DPOSS SDSS Green Bank Survey (HI 21cm) AFGL 2μm 2018/11/9 DB推進室報告会

6 世界の天文データベース(3) 文献データベース － ADS
CDS (Centre de Donnes Astronomique de Strasbourg) ー　天体カタログの頒布，SIMBADの運営 　　　　1972年~ 2018/11/9 DB推進室報告会

7 日本の天文データベース 国立天文台 宇宙科学研究所 MOKA,SMOKA ー木曽・岡山 &すばる
Nrodb for Nobeyama Radio Obs. HST, DSS, SDSS, IUE等のミラー カタロDB，文献DB 宇宙科学研究所 PLAINセンター（ASCA, Yohkoh, Geotail, Akebono, BeppoSAX, ROSAT, etc,.) 2018/11/9 DB推進室報告会

8 すばる望遠鏡 2018/11/9 DB推進室報告会

9 2018/11/9 DB推進室報告会

10 45m大型電波望遠鏡 2018/11/9 DB推進室報告会

11 ミリ波干渉計 2018/11/9 DB推進室報告会

12 2018/11/9 DB推進室報告会

13 Archiveを用いた天文学研究 large fraction of astro-papers based on archives
HST archive use growing faster than archive Already more retrieval than ingest! graphics from US NVO project 2018/11/9 DB推進室報告会

14 既存DBの分析 衛星DB － 衛星運用チームのにより作 成・運用されており，コミュニティによる 利用を前提（打ち上げ費用が莫大）。
2018/11/9 DB推進室報告会

15 既存DBの問題点 URLを知らないとアクセスできない FITSヘッダの内容が統一されていない 各波長に対応した様々な解析ソフト
　　→他波長のデータへのアクセスの障壁 較正済みデータとは限らない 　　→較正には観測装置の癖を知らなくてはならない 2018/11/9 DB推進室報告会

16 現代天文学の要請 宇宙開闢後の物理 銀河形成の謎 大規模構造形成の謎 宇宙の平均密度の決定 etc.
→　均質なサーベイデータを用いた統計的処理が必須 2018/11/9 DB推進室報告会

17 mystery outliers graphics from US NVO project 2018/11/9 DB推進室報告会

18 天文学者の欲求 感度を上げたい! たくさんのデータを取りたい! 広い領域を見たい! 新しい波長で見たらどんな宇宙が? 2018/11/9
DB推進室報告会

19 2018/11/9 DB推進室報告会

20 2018/11/9 DB推進室報告会

21 Brown dwarfs in SDSS/2MASS
discoveries like this much easier if databases jointly queryable 2018/11/9 DB推進室報告会

22 半導体技術の進歩 大量の観測データを容易に取得できる時代になった 2018/11/9 DB推進室報告会

23 2年毎に集積度は倍になる 2018/11/9 DB推進室報告会

24 data growth observatory archives growing as detectors grow
world area of telescopes over 3m (m2) observatory archives growing as detectors grow largest detector (Mpix) 2018/11/9 DB推進室報告会

25 大型望遠鏡による観測データ 野辺山電波望遠鏡：~1TB/yr すばる望遠鏡 ：~20TB/yr ALMA（予定） ：~PB/yr
良質なデータ（特にサーベイデータ）の洪水 ディジタル化・アーカイブ化されている 2018/11/9 DB推進室報告会

26 データ処理する人間の意識 それほどは変わらない 従来の方法では処理しきれないデータ →なんとかならないか 2018/11/9
DB推進室報告会

27 計算機環境の激変 計算機の高性能化 CPU,memory,I/O性能 Data Storageの大型化 PBクラスのデータは格納可能 SAN
Networkの高速化 　　SuperSINET 10Gbps 2018/11/9 DB推進室報告会

28 CPUの時代から Networkの時代へ 2018/11/9 DB推進室報告会

29 計算機環境の激変により・・・ 高性能計算機資源が高速ネットワークで接続
　→遠隔地の計算機資源をあたかもローカ ル計算機のように利用することが可能 　→単細胞生物から多細胞生物への進化に 対応 2018/11/9 DB推進室報告会

30 情報学・計算機科学の発展 Web技術 分散・結合技術：CORBA,GRID OODB(Object Oriented Data Base)
Data Mining etc. 2018/11/9 DB推進室報告会

31 計算機利用パラダイムの転換 高度化した計算機環境＋情報処理技術 を組み合わせることによって可能になる 新たな天文研究スタイルを確立しよう
　　を組み合わせることによって可能になる 　　新たな天文研究スタイルを確立しよう 2018/11/9 DB推進室報告会

32 我々の目標 分散DBによるDigital Universeの構築 多波長データを統合したDB基盤を開発
大量データに対する統計的処理による新しいスタイルの天文学研究環境の確立 2018/11/9 DB推進室報告会

33 Digital Universe Dec. λ/Freq. 数値宇宙 R.A. + Time 実宇宙 Data Cube 2018/11/9
望遠鏡による観測データ 実宇宙 2018/11/9 DB推進室報告会

34 Virtual Telescope/Observatory
Digital Universeを観測し，そのデータを 解析・処理することにより天文学的知見を生み出す抽象化された観測装置 いつでも，どこからでも，天候などに左右されずに観測することができる 2018/11/9 DB推進室報告会

35 アイデア 観 測 検 索 データ 解 析 研究発表 実望遠鏡での 観測 仮想望遠鏡での 2018/11/9 DB推進室報告会

36 検索でデータが見つからない → VOが，「観測手順書」を作成し，実望遠鏡の制御システムに渡す → 「手順書」が承認されれば，実観測
→　「手順書」が承認されれば，実観測 →　観測データを取得 →　VOに登録 　　VOは，成長する観測装置! 2018/11/9 DB推進室報告会

37 世界の動向(VO) National Virtual Observatory (USA) funded
AstroVirtel (ESO), funded Astrophysical Virtual Observatory (ESO) funded Australian Virtual Observatory (Oz) 2018/11/9 DB推進室報告会

38 これまでの開発成果を基盤に 望遠鏡制御システムの構築 天文データベースの構築 DASH － CORBAを用いたLAN内の分散解析環境
NEWSTAR　－　電波天文用解析ソフトウエア（サーバー・クライアント型） 天文データに対するデータマイニング 2018/11/9 DB推進室報告会

39 JVOの必要機能(1) （内部）データフォーマットの共通化 異なるDBを統一的に扱う 論理的数値宇宙の構築機能ーOODB 柔軟なキー項目追加
ポインティングデータの容易な追加 数値宇宙に対する検索 2018/11/9 DB推進室報告会

40 JVOの必要機能(2) 大量データの解析機能 多様な画像処理，天体自動認識， パラメータ抽出とカタログ作成，
　　　空間分解能を考慮したマッチング，等 多次元データの可視化機能 人間の空間認識能力を活用 2018/11/9 DB推進室報告会

41 JVOの必要機能(3) より高度な解析機能 マイニング：多次元パラメータ空間の
特徴抽出，クラスタリング，相関ルール 作成→未知天体の探査を容易に 実望遠鏡との連携機能 VO内データの品質保証のために必須 2018/11/9 DB推進室報告会

42 JVOの基盤技術(1) GRID－分散した計算機資源を利用する ためのミドルウエア 電力網とのanalogy
2018/11/9 DB推進室報告会

43 Virtual Services, Network, File System, Security, CPU Services, 。。。。
Grid の概念図 Userは，実際の計算機資源がどこにあるかを意識する必要はない アプリケーション・レイヤー GRID インフラ Virtual Services, Network, File System, Security, CPU Services, 。。。。 Virtual Local Local Security Local Security Campus Server/Ｇｂｉｔ　Ｅｔｈｅｒ Linux Solaris UXP‐V 2018/11/9 DB推進室報告会

44 Data Grids for High Energy Physics
Tier2 Centre ~1 TIPS Online System Offline Processor Farm ~20 TIPS CERN Computer Centre FermiLab ~4 TIPS France Regional Centre Italy Regional Centre Germany Regional Centre Institute Institute ~0.25TIPS Pentium II 300 MHz Physicist workstations ~100 MBytes/sec ~622 Mbits/sec ~1 MBytes/sec HPSS There is a “bunch crossing” every 25 nsecs. There are 100 “triggers” per second Each triggered event is ~1 MByte in size Physicists work on analysis “channels”. Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server Physics data cache ~PBytes/sec ~622 Mbits/sec or Air Freight (deprecated) Caltech ~1 TIPS Tier 0 Tier 1 Tier 2 Tier 4 1 TIPS is approximately 25,000 SpecInt95 equivalents 2018/11/9 DB推進室報告会 Image courtesy Harvey Newman, Caltech

45 世界の動向（GRID) AstroGrid （UK) GriPhyn (USA) : exp. Physics funded
Data Grid (EU): CERN, high energy Grid Computing 2018/11/9 DB推進室報告会

46 Grid上で動くものは・・・ データは原則として移動させない（負荷が高すぎる） 必要なモジュールを移動させる 結果を手元に持ってくる
結果をうまく可視化することが重要 2018/11/9 DB推進室報告会

47 2018/11/9 DB推進室報告会

48 DBの配置 観測データは，望遠鏡（観測所）におかれることが望ましい 多波長データを利用するためには，必然的に，分散データベースとなる
Header items ? 2018/11/9 DB推進室報告会

49 JVOの基盤技術(2) 実望遠鏡との連携 解析モジュールの組み込み機能 →自作が容易になるよう，雛型を用意 可視化 Data Cave
　　→自作が容易になるよう，雛型を用意 可視化 Data Cave 2018/11/9 DB推進室報告会

50 統合解析環境のイメージ 2018/11/9 DB推進室報告会

51 2018/11/9 DB推進室報告会

52 プロトタイプで対象とする 観測データ Sloan Digital Sky Survey (SDSS)
2μm All Sky Survey (2MASS) これらを用いて構想した枠組みの実効性を示す →　その後対象データを拡大する 2018/11/9 DB推進室報告会

53 2018/11/9 DB推進室報告会

54 2018/11/9 DB推進室報告会

55 開発体制(1) DB推進室スタッフ 水本・大石・安田 研究員（新規） VOの標準データモデル，関連ツール
　　水本・大石・安田 研究員（新規） VOの標準データモデル，関連ツール GRID上の計算機資源管理機能，データ解析ツール等 大規模データに適したDB，DB連携 2018/11/9 DB推進室報告会

56 開発体制(2) 各観測所との協力 すばるー小笠原，高田，・・・ 野辺山ー砂田，中西，宮崎，河村,・・・ ALMA－森田，立松，長谷川，・・・
　　すばるー小笠原，高田，・・・ 　　野辺山ー砂田，中西，宮崎，河村,・・・ 　　ALMA－森田，立松，長谷川，・・・ 2018/11/9 DB推進室報告会

57 開発体制(3) DB関連—H14年度客員教授に 増永良文氏（お茶大教授） DB業界のボス的存在 松尾教授，竹田助教授（九州大）
　　　　　　　　　増永良文氏（お茶大教授） 　　　　　　　　　　DB業界のボス的存在 　松尾教授，竹田助教授（九州大） 　　　　　　　　　　分散DB構築で協力 Grid関連—H13~H15の科学研究費獲得 　　　　　　　　　松岡氏（東工大教授） 情報科学研究者との連携を深めつつある 2018/11/9 DB推進室報告会

58 開発予算 Phase A：科研費（特定領域研究）有り 計算センター資源を利用可能 Phase B：台内計算機資源上にGRID環境 を実装
　　　　　　　　計算センター資源を利用可能 Phase B：台内計算機資源上にGRID環境 を実装 →　当面は特段の費用はかからない 人員体制の強化は必要 2018/11/9 DB推進室報告会

59 何ができるようになるの? 銀河研究での例： 銀河の「客観的分類」を行って，原始銀河 の特徴をあぶり出す銀河誕生の理解
　　銀河の「客観的分類」を行って，原始銀河 　の特徴をあぶり出す銀河誕生の理解 Cosmic stringによる空間のひずみを広域サーベイデータからあぶり出す宇宙初期の理解 微弱スペクトルから「アミノ酸」を探す宇宙における生命誕生?の理解 ・・・・・・・ 2018/11/9 DB推進室報告会

60 何ができるようになる?（続き） ガンマ線バースト天体の同定 Quasarの時間変化 太陽系近傍天体(EKBO等）の探査
Brown dwarfの探査 etc. 2018/11/9 DB推進室報告会

61 波及効果 大学・大学院教育の支援 初等・中等教育の支援 Public outreach 2018/11/9 DB推進室報告会

62 今後の展開 制御システムとの接続 すばる，野辺山の制御系は分散WS GRIDインターフェースを付けてVOに 接続 世界のVOとの接続
　　　接続 世界のVOとの接続 JVOに他のVOデータの変換ツールを 　　　用意すれば接続可能 2018/11/9 DB推進室報告会

63 DB天文学 光学赤外線電波天文学／電波X線天文学 大量データの統計処理 →物理量を精度よく決定 →天文学は精密科学へと変貌する
未知天体の発見ラッシュ 2018/11/9 DB推進室報告会