PC-VLBIシステムを用いた VERA用相関処理系の構築 2 　木村守孝、小山泰弘(情報通信研究機構) 小林秀行、川口則幸、小山友明(国立天文台) 三鷹FX相関器　 ソフトウェア相関処理システム　

VERA相関処理のための ソフトウェア相関器の開発目的 年代 1990年 1997年 2002年 2005年 20xx年 三鷹ＦＸ相関器 設計 運用中 VSOP計画 運用開始 運用終了 VERA計画 大学連携 ソフトウェア相関器 開発開始 そろそろ三鷹ＦＸ相関器の後継機が必要　

VERA用ソフトウェア相関器要求仕様 相関局数 5局 （ソフト相関的には上限なし） 相関処理形式 ソフトウェアFX型（相互相関&自己相関） 5局　（ソフト相関的には上限なし） 相関処理形式 ソフトウェアFX型（相互相関&自己相関） 相関処理速度 5局@1Gbps観測時に0.5倍～1.0倍速程度 処理可能形式 VERA-T、 VSOP-T、Galaxy-T、K5/VSI、K5/VSSP、Mark-V 相関出力形式 CODA形式、（FITS 形式） 分光点数 64‐64k点程度 相関出力速度 1～100Hz程度 追加機能 多ビーム対応、混合相関対応、実時間処理、…

開発のスケジュール 自動運用化等⇒完成 2005年度 2006年度 三鷹相関器室にPC-VSI機を設置 ＮＩＣＴのPC-VSI機でVERAシステムからのデータ取得試験 ソフトウェア相関処理でVERA-7モードのフリンジ検出 2006年度 ソフトウェア相関器の出力のＣＯＤＡファイル化 マルチビーム化対応 長時間データでの比較検討 数台のPC-VSI機を追加導入（予定） 　　　　　　2007年度 　自動運用化等⇒完成

内部バス（PCI-X、PCI-Express、Hyper-Transport) NICT製 PC-VLBIシステム PC-VLBI システムの一例　 構成 A/Dサンプラ（VSI仕様）、 PC(VSI入力ボード)、汎用ディスクアレイ 機能 デジタルフィルタ、分光計、信号記録、 ネットワーク伝送、相関処理 アレイ構成 Raid-0、Raid-5、Raid-6、etc… 記録時間＠速度 12時間＠2Gbps/array 24時間＠1Gbps/array PC-VLBI システム　　 パーソナルコンピュータ　 A/Dサンプラ （VSI仕様） 1024/2048 Mbps VSI入力ボード　 Memory バッファリング CPUs デジタルフィルタ 分光計 Ether Ports データ送受信 内部バス（PCI-X、PCI-Express、Hyper-Transport) VSI入力ボード SATA、SCSI、iSCSI、FC等 ディスクアレイ （観測データの記録）

５１２Msps/2bit観測の等速相関に 要求される計算速度 観測局毎（FFT数をnとする）に必要な演算速度 基線毎に必要な演算速度 相関部： 6×(n/2) × 512000000/n 積分部： 2×(n/2) ×512000000/n 1基線当たり　約2Gflops/baseline フーリエ変換部：　(5/2 n log n)×(512000000/n) 遅延・位相追尾: 6 ×(n/2) ×(512000000/n) 1024点FFTの場合　1局当たり　約15Gflops/局 相関局数 　　基線数 相互/自己相関 全体で必要 な演算速度 PC1台当たりで 必要な演算速度 １局 0/1 17Gflops 2局 1/2 36Gflops 18Gflops 4局 6/4 80Gflops 20Gflops 8局 28/8 192Gflops 24Gflops 16局 120/16 512Gflops 32Gflops AMD Opteron (初代PC-VSI) 1.4GHz×2(dual processor)×1（single-core）×4（SIMD） 11.2Gflops IBM PowerPC 970FX(3年前) 2.0GHz×2(dual processor)×1（single-core）×8（SIMD） 32.0Gflops AMD　Opteron (2年前) 2.6GHz×2(dual processor)×2（dual-core）×4（SIMD） 41.6Gflops IBM PowerPC 970MP 2.7GHz×2(dual processor)×2（dual-core）×8（SIMD） 86.4Gflops Intel Xeon5160[Wood Crest] 今年 3.0GHz×2(dual processor)×2（dual-core）×8（SIMD） 96.0Gflops Intel Xeon 5355[Clovertown] 来月 2.66GHz×2(dual processor)×4（quad-core）×8（SIMD） 170.24Gflops Sony PS3 3.2GHz×1(single processor)×8（eight-core）×8（SIMD） 208.4Gflops

ベンチマーク結果 (Xeon 5160での実測値 ネットワークとディスクアクセスは含まず) CPU Xeon 5160@3GHz×dual/Station　 処理速度　三鷹ＦＸを１とする FFT-ポイント

ベンチマーク結果 (Xeon 5355での予測値 VERA用ソフト相関器で採用予定) CPU Xeon 5355@2.6GHz×dual/Station 処理速度　三鷹ＦＸを１とする FFT-ポイント

構成パーツの価格 （1局分あたり） 合計 パーツ 型番等 価格 円 CPU Intel Xeon 5355 150000×2 Memory 価格　円 CPU Intel Xeon 5355 150000×2 Memory DDR-677 ECC Registered 1GB×4 30000×4 Raid Card HighPoint Rocket Raid-2340 (16ch SATA/PCI-Expess) 80000 マザーボード SuperMicro X7DBE PCケース（電源搭載） T-win　RMC3E2-PI-XPSS 160000 Hard Disk IBM-Hitachi Deskstar T7K500 (500GB/SATA)×16 22000×16 VSI入力ボード VSI2000-DIM 1200000 その他 起動ディスク、ケーブル、… 　 数万円 合計 230万円程度

三鷹FX相関器との実際の観測データを使用した 相関結果の比較 観測局：VERA4局 観測データ：2003/328 01:40:00-02:40:00 観測天体：3C345/NRAO512 (2ビームモード) 観測モード：VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )　　 水沢‐入来基線(3C345) 水沢‐石垣基線（3C345） 振幅 振幅 SNR SNR 群遅延 群遅延

三鷹FX相関器との結果の比較 クロージャー位相の比較 観測局：VERA4局 観測データ：2003/328 01:40:00-02:40:00 観測天体：3C345/NRAO512 (2ビームモード) 観測モード：VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )　　 水沢-入来-小笠原基線のクロージャー位相（3C345 ） 水沢‐入来‐小笠原（3C345） クロージャ位相　度

擬似データでの相関結果比較 同じテープからのコピー 三鷹ＦＸ テープ1 ＋(遅延量=0、レート=0) 相関処理 観測周波数 22.22ＧＨｚ 三鷹ＦＸ　 テープ1 ＋(遅延量=0、レート=0) 相関処理 観測周波数 22.22ＧＨｚ テープ2 +(遅延量=0、レート=＋1ピコ秒/秒) テープ3 ＋(延量=0、レート=－1ピコ秒/秒) テープ4 ＋(遅延量=0.1ナノ秒、レート=0) 同じファイルからのコピー ソフトウェア相関器 ファイル1 ＋(遅延量=0、レート=0) 相関処理 観測周波数 22.22ＧＨｚ ファイル2 ＋(遅延量=0、レート=＋1ピコ秒/秒) ファイル3 ＋(遅延量=0、レート=－1ピコ秒/秒) ファイル4 ＋(遅延量=0.1ナノ秒、レート=0)

相関振幅と相関位相の結果 三鷹相関器 三鷹相関器 相関位相 相関振幅 ソフトウェア相関器 ソフトウェア相関器

群遅延の比較 群遅延量（単位サンプル） 三鷹相関器 三鷹相関器 0.01 ソフトウェア相関器 0.01 ソフトウェア相関器 遅延オフセット0.1ナノ秒 　0.01 サンプル 遅延レート ＋1ピコ秒/秒 群遅延量（単位サンプル） 遅延レート －1ピコ秒/秒 ソフトウェア相関器 遅延レート －1ピコ秒/秒 　0.01 サンプル ソフトウェア相関器 ソフトウェア相関器

付加機能 混合相関処理 マルチビーム相関処理　

追加機能 ソフトウェア混合相関処理 より柔軟なVLBI観測網が 構成可能 混沌としたVLBI観測システム 北海道大学-11ｍ K4、IP-VLBI、… 水沢-20ｍ VERA、K4、IP-VLBI 、… 筑波-32m K4、IP-VLBI、GALAXY 、(VERA)… 鹿島-34m K4、VSOP,GALAXY、IP-VLBI、PC-VLBI 、 臼田-64m GALAXY、VSOP、IP-VLBI 、(VERA)… 岐阜大 K4、VSOP、GALAXY、(VERA)… 野辺山-45m VSOP、（GALAXY） 、(VERA)… 山口大-32m GALAXY、IP-VLBI 、PC-VLBI、(VERA)… 入来-20m VERA、VSOP、IP-VLBI 、… 内之浦-32m K4、IP-VLBI 、… 小笠原-20m VERA、VSOP 、… 石垣-20m より柔軟なVLBI観測網が 　　　　　構成可能

追加機能 マルチビーム相関処理 広範囲に分布したメーザースポットなどで効率的な処理が可能 VERAの2ビーム仕様 （1個のビームに対し1個の参照点）　 天体-1 ビームA τ（ｔ） 天体-2 ビーム-B 　　マルチビーム（複数視野）仕様　 （1個のチャンネルに対して複数の参照点）　 天体-1 任意Ch τ（ｔ） τ（ｔ）　 天体-3 任意Ch τ（ｔ）　 τ（ｔ）　 τ（ｔ）　 天体-2 任意Ch 天体-4 任意C h　 天体-5 任意Ch 広範囲に分布したメーザースポットなどで効率的な処理が可能

まとめ 新規ＰＣでのベンチマークを実施 =＞ 処理速度的に問題なし 長時間処理の結果を比較 =＞ ほぼ一致 三鷹ＦＸよりはフリンジ追尾性能は良さそう 付加機能の追加(マルチビーム、混合相関処理の追加)

5局相関処理システム構成 VERAシステム系 ノンブロッキング型スイッチングハブ DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 制御用PC　　 ５局相関処理システム DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array GbE VLBI局 汎用ネットワーク　　 GALAXY 光伝送 装置

観測局の増加と高速化の対応 ノンブロッキング型スイッチングハブ DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 相関処理専用PC　 （30万円程度） 相関処理専用PC　 （30万円程度）

今後のスケジュール 今年度 完成予想 三鷹FXとの精度評価（2ビーム位相差等） 秋頃まで 3局分のシステム導入 冬頃 　　　　　　　　　　　　　　　　　　　　今年度 三鷹FXとの精度評価（2ビーム位相差等）　 秋頃まで 3局分のシステム導入　　　　　　　　　　　　　　 冬頃 自動運用化（テープカートの制御）　　　　　　 春頃 ユーザの意見を取り入れた新機能の追加 　常時 バグだし　　　　　　　　　　　　　　　　　　　　　　　常時 完成予想 　　　　　　　　　　　　　　　　　来年度（完了予定） 5局分のシステム導入 定常運用化 バグだし　　　　　　　　　　　　

2005年～2006年にかけての作業 DMS-24 PC-VLBIを2式三鷹相関器室に設置 1局分のPC-VLBIで多局相関処理に対応 Station-1 #1 PC-VLBIを2式三鷹相関器室に設置 1局分のPC-VLBIで多局相関処理に対応 カート利用により数時間の連続多局処理が可能 相関処理速度は等速にくらべ数分の1 　VERA全局での相関結果を三鷹FXとの比較 Station-1 #2 Station-1 #3 Station-1 #4 Station-2 #1 Station-2 #2 Station-2 #3 Station-2 #4 Station-3 #1 制御用PC Station-3 #2 ソフトウェア相関処理 Station-3 #3 CODA Files Station-3 #4 PC-VLBI Disk-Array スイッチングハブ Station-4 #1 Station-4 #2 Station-4 #3 Station-4 #4 VSI Interface Unit 再生データ PC-VLBI Disk-Array DIR-2000