PC-VLBIシステムを用いた VERA用相関処理系の構築 2

Presentation on theme: "PC-VLBIシステムを用いた VERA用相関処理系の構築 2"— Presentation transcript:

1 PC-VLBIシステムを用いた VERA用相関処理系の構築 2
　木村守孝、小山泰弘(情報通信研究機構) 小林秀行、川口則幸、小山友明(国立天文台) 三鷹FX相関器　 ソフトウェア相関処理システム　

2 VERA相関処理のための ソフトウェア相関器の開発目的
年代 1990年 1997年 2002年 2005年 20xx年 三鷹ＦＸ相関器 設計 運用中 VSOP計画 運用開始 運用終了 VERA計画 大学連携 ソフトウェア相関器 開発開始 そろそろ三鷹ＦＸ相関器の後継機が必要　

3 VERA用ソフトウェア相関器要求仕様 相関局数 5局 （ソフト相関的には上限なし） 相関処理形式 ソフトウェアFX型（相互相関&自己相関）
5局　（ソフト相関的には上限なし） 相関処理形式 ソフトウェアFX型（相互相関&自己相関） 相関処理速度 処理可能形式 VERA-T、 VSOP-T、Galaxy-T、K5/VSI、K5/VSSP、Mark-V 相関出力形式 CODA形式、（FITS 形式） 分光点数 64‐64k点程度 相関出力速度 1～100Hz程度 追加機能 多ビーム対応、混合相関対応、実時間処理、…

4 開発のスケジュール 自動運用化等⇒完成 2005年度 2006年度 三鷹相関器室にPC-VSI機を設置
ＮＩＣＴのPC-VSI機でVERAシステムからのデータ取得試験 ソフトウェア相関処理でVERA-7モードのフリンジ検出 2006年度 ソフトウェア相関器の出力のＣＯＤＡファイル化 マルチビーム化対応 長時間データでの比較検討 数台のPC-VSI機を追加導入（予定） 　　　　　　2007年度 　自動運用化等⇒完成

5 内部バス（PCI-X、PCI-Express、Hyper-Transport)
NICT製 PC-VLBIシステム PC-VLBI システムの一例　 構成 A/Dサンプラ（VSI仕様）、 PC(VSI入力ボード)、汎用ディスクアレイ 機能 デジタルフィルタ、分光計、信号記録、 ネットワーク伝送、相関処理 アレイ構成 Raid-0、Raid-5、Raid-6、etc… 記録時間＠速度 12時間＠2Gbps/array 24時間＠1Gbps/array PC-VLBI システム　　 パーソナルコンピュータ　 A/Dサンプラ （VSI仕様） 1024/2048 Mbps VSI入力ボード　 Memory バッファリング CPUs デジタルフィルタ 分光計 Ether Ports データ送受信 内部バス（PCI-X、PCI-Express、Hyper-Transport) VSI入力ボード SATA、SCSI、iSCSI、FC等 ディスクアレイ （観測データの記録）

6 ５１２Msps/2bit観測の等速相関に 要求される計算速度
観測局毎（FFT数をnとする）に必要な演算速度 基線毎に必要な演算速度 相関部： 6×(n/2) × /n 積分部： 2×(n/2) × /n 1基線当たり　約2Gflops/baseline フーリエ変換部：　(5/2 n log n)×( /n) 遅延・位相追尾: ×(n/2) ×( /n) 1024点FFTの場合　1局当たり　約15Gflops/局 相関局数 　　基線数 相互/自己相関 全体で必要 な演算速度 PC1台当たりで 必要な演算速度 １局 0/1 17Gflops 2局 1/2 36Gflops 18Gflops 4局 6/4 80Gflops 20Gflops 8局 28/8 192Gflops 24Gflops 16局 120/16 512Gflops 32Gflops AMD Opteron (初代PC-VSI) 1.4GHz×2(dual processor)×1（single-core）×4（SIMD） 11.2Gflops IBM PowerPC 970FX(3年前) 2.0GHz×2(dual processor)×1（single-core）×8（SIMD） 32.0Gflops AMD　Opteron (2年前) 2.6GHz×2(dual processor)×2（dual-core）×4（SIMD） 41.6Gflops IBM PowerPC 970MP 2.7GHz×2(dual processor)×2（dual-core）×8（SIMD） 86.4Gflops Intel Xeon5160[Wood Crest] 今年 3.0GHz×2(dual processor)×2（dual-core）×8（SIMD） 96.0Gflops Intel Xeon 5355[Clovertown] 来月 2.66GHz×2(dual processor)×4（quad-core）×8（SIMD） 170.24Gflops Sony PS3 3.2GHz×1(single processor)×8（eight-core）×8（SIMD） 208.4Gflops

7 ベンチマーク結果 (Xeon 5160での実測値 ネットワークとディスクアクセスは含まず)
CPU Xeon 処理速度　三鷹ＦＸを１とする FFT-ポイント

8 ベンチマーク結果 (Xeon 5355での予測値 VERA用ソフト相関器で採用予定)
CPU Xeon 処理速度　三鷹ＦＸを１とする FFT-ポイント

9 構成パーツの価格 （1局分あたり） 合計 パーツ 型番等 価格 円 CPU Intel Xeon 5355 150000×2 Memory
価格　円 CPU Intel Xeon 5355 150000×2 Memory DDR-677 ECC Registered 1GB×4 30000×4 Raid Card HighPoint Rocket Raid-2340 (16ch SATA/PCI-Expess) 80000 マザーボード SuperMicro X7DBE PCケース（電源搭載） T-win　RMC3E2-PI-XPSS 160000 Hard Disk IBM-Hitachi Deskstar T7K500 (500GB/SATA)×16 22000×16 VSI入力ボード VSI2000-DIM その他 起動ディスク、ケーブル、… 　 数万円 合計 230万円程度

10 三鷹FX相関器との実際の観測データを使用した 相関結果の比較
観測局：VERA4局 観測データ：2003/328 01:40:00-02:40:00 観測天体：3C345/NRAO512 (2ビームモード) 観測モード：VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )　　 水沢‐入来基線(3C345) 水沢‐石垣基線（3C345） 振幅 振幅 SNR SNR 群遅延 群遅延

11 三鷹FX相関器との結果の比較 クロージャー位相の比較
観測局：VERA4局 観測データ：2003/328 01:40:00-02:40:00 観測天体：3C345/NRAO512 (2ビームモード) 観測モード：VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )　　 水沢-入来-小笠原基線のクロージャー位相（3C345 ） 水沢‐入来‐小笠原（3C345） クロージャ位相　度

12 擬似データでの相関結果比較 同じテープからのコピー 三鷹ＦＸ テープ1 ＋(遅延量=0、レート=0) 相関処理 観測周波数 22.22ＧＨｚ
三鷹ＦＸ　 テープ1 ＋(遅延量=0、レート=0) 相関処理 観測周波数 22.22ＧＨｚ テープ2 +(遅延量=0、レート=＋1ピコ秒/秒) テープ3 ＋(延量=0、レート=－1ピコ秒/秒) テープ4 ＋(遅延量=0.1ナノ秒、レート=0) 同じファイルからのコピー ソフトウェア相関器 ファイル1 ＋(遅延量=0、レート=0) 相関処理 観測周波数 22.22ＧＨｚ ファイル2 ＋(遅延量=0、レート=＋1ピコ秒/秒) ファイル3 ＋(遅延量=0、レート=－1ピコ秒/秒) ファイル4 ＋(遅延量=0.1ナノ秒、レート=0)

13 相関振幅と相関位相の結果 三鷹相関器 三鷹相関器 相関位相 相関振幅 ソフトウェア相関器 ソフトウェア相関器

14 群遅延の比較 群遅延量（単位サンプル） 三鷹相関器 三鷹相関器 0.01 ソフトウェア相関器 0.01 ソフトウェア相関器
遅延オフセット0.1ナノ秒 　0.01 サンプル 遅延レート ＋1ピコ秒/秒 群遅延量（単位サンプル） 遅延レート －1ピコ秒/秒 ソフトウェア相関器 遅延レート －1ピコ秒/秒 　0.01 サンプル ソフトウェア相関器 ソフトウェア相関器

15 付加機能 混合相関処理 マルチビーム相関処理　

16 追加機能 ソフトウェア混合相関処理 より柔軟なVLBI観測網が 構成可能 混沌としたVLBI観測システム 北海道大学-11ｍ
K4、IP-VLBI、… 水沢-20ｍ VERA、K4、IP-VLBI 、… 筑波-32m K4、IP-VLBI、GALAXY 、(VERA)… 鹿島-34m K4、VSOP,GALAXY、IP-VLBI、PC-VLBI 、 臼田-64m GALAXY、VSOP、IP-VLBI 、(VERA)… 岐阜大 K4、VSOP、GALAXY、(VERA)… 野辺山-45m VSOP、（GALAXY） 、(VERA)… 山口大-32m GALAXY、IP-VLBI 、PC-VLBI、(VERA)… 入来-20m VERA、VSOP、IP-VLBI 、… 内之浦-32m K4、IP-VLBI 、… 小笠原-20m VERA、VSOP 、… 石垣-20m より柔軟なVLBI観測網が 　　　　　構成可能

17 追加機能 マルチビーム相関処理 広範囲に分布したメーザースポットなどで効率的な処理が可能 VERAの2ビーム仕様
（1個のビームに対し1個の参照点）　 天体-1 ビームA τ（ｔ） 天体-2 ビーム-B 　　マルチビーム（複数視野）仕様　 （1個のチャンネルに対して複数の参照点）　 天体-1 任意Ch τ（ｔ） τ（ｔ）　 天体-3 任意Ch τ（ｔ）　 τ（ｔ）　 τ（ｔ）　 天体-2 任意Ch 天体-4 任意C h　 天体-5 任意Ch 広範囲に分布したメーザースポットなどで効率的な処理が可能

18 まとめ 新規ＰＣでのベンチマークを実施 =＞ 処理速度的に問題なし 長時間処理の結果を比較 =＞ ほぼ一致
三鷹ＦＸよりはフリンジ追尾性能は良さそう 付加機能の追加(マルチビーム、混合相関処理の追加)

19 5局相関処理システム構成 VERAシステム系 ノンブロッキング型スイッチングハブ DIR-2000 1Gbps VSI Interface
PC-VLBI Disk-Array 制御用PC　　 ５局相関処理システム DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array GbE VLBI局 汎用ネットワーク　　 GALAXY 光伝送 装置

20 観測局の増加と高速化の対応 ノンブロッキング型スイッチングハブ DIR-2000 1Gbps VSI Interface PC-VLBI
Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） 相関処理専用PC　 （30万円程度）

21 今後のスケジュール 今年度 完成予想 三鷹FXとの精度評価（2ビーム位相差等） 秋頃まで 3局分のシステム導入 冬頃
　　　　　　　　　　　　　　　　　　　　今年度 三鷹FXとの精度評価（2ビーム位相差等）　 秋頃まで 3局分のシステム導入　　　　　　　　　　　　　　 冬頃 自動運用化（テープカートの制御）　　　　　　 春頃 ユーザの意見を取り入れた新機能の追加 　常時 バグだし　　　　　　　　　　　　　　　　　　　　　　　常時 完成予想 　　　　　　　　　　　　　　　　　来年度（完了予定） 5局分のシステム導入 定常運用化 バグだし　　　　　　　　　　　　

22 2005年～2006年にかけての作業 DMS-24 PC-VLBIを2式三鷹相関器室に設置 1局分のPC-VLBIで多局相関処理に対応
Station-1 #1 PC-VLBIを2式三鷹相関器室に設置 1局分のPC-VLBIで多局相関処理に対応 カート利用により数時間の連続多局処理が可能 相関処理速度は等速にくらべ数分の1 　VERA全局での相関結果を三鷹FXとの比較 Station-1 #2 Station-1 #3 Station-1 #4 Station-2 #1 Station-2 #2 Station-2 #3 Station-2 #4 Station-3 #1 制御用PC Station-3 #2 ソフトウェア相関処理 Station-3 #3 CODA Files Station-3 #4 PC-VLBI Disk-Array スイッチングハブ Station-4 #1 Station-4 #2 Station-4 #3 Station-4 #4 VSI Interface Unit 再生データ PC-VLBI Disk-Array DIR-2000