三鷹FX相関器互換の ソフトウェア相関処理システムの構築 3

Presentation on theme: "三鷹FX相関器互換の ソフトウェア相関処理システムの構築 3"— Presentation transcript:

1 三鷹FX相関器互換の ソフトウェア相関処理システムの構築 3
　木村守孝、小山泰弘、関戸衛(情報通信研究機構) 　小林秀行、川口則幸、小山友明、原哲也(国立天文台) 三鷹FX相関器　 PC-VLBI 　システム　

2 VERA用ソフトウェア相関器 開発目的 年代 1990年代 1997年 2002年 2005年 20xx年 VSOP計画 相関器設計
運用開始 本格運用 運用終了 VERA計画 大学連携 三鷹FX相関器 維持が困難に ソフト相関器 新相関器へ移行

3 VERA用ソフトウェア相関器要求仕様 PC-VLBI システム 相関局数 5局同時相関（実装的には制限なし） （参考：三鷹FX 最大5局）
相関処理形式 ソフトウェアFX型（相互相関&自己相関） 相関処理速度 1Gbps/5局観測時に0.5倍～1.0倍速程度（実測値：1～2倍） 処理可能形式 VERA、Galaxy、K5/VSI、K5/VSSP、Mark-V、（VSOP、K4） 相関出力形式 CODA形式、（FITS 形式） 分光点数 1k‐64k点程度　（参考：三鷹FX 16k点＆総出力数1k点） 　 相関出力速度 1～100Hz程度　（参考：三鷹FX 最大40Hz） 　 サイズ 標準ラック1本 追加機能 多ビーム観測対応、混合相関対応、… PC-VLBI 　システム　

4 相関処理の流れ ～全体図～ ＶＥＲＡ 観測スケジュール （ＶＥＸ） ＶＥＲＡ 遅延情報ファイル （ＣＯＤＡ） ＶＥＲＡ 観測テープ
観測スケジュール　 （ＶＥＸ） ＶＥＲＡ 遅延情報ファイル （ＣＯＤＡ） ＶＥＲＡ 観測テープ （DIR-1000） フォーマット変換 (vex2sc) フォーマット変換 (tau2geo) ディスクへコ ピー ＧＩＣＯ３用 観測＆相関 スケジュール ＧＩＣＯ３用 遅延情報ファイル ＧＩＣＯ３用 観測データファイル ＧＩＣＯ３ 相関処理プログラム ＧＩＣＯ３用 相関処理結果ファイル フォーマット変換 (cor2dat) ＶＥＲＡ 相関処理結果ファイル （ＣＯＤＡ） ＶＥＲＡ 解析系ソフト

5 相関処理の流れ ～GICO3用スケジュール（ＸＭＬファイル）の作成～
<?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name=“VERA-01” ><speed> </speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <terminal name=“VERA-07” ><speed> </speed><channel>16</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <station key=“A”><name>MIZNAO20</name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z> <station key=“B”><name>IRIKI </name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z> <station key=“C”><name>OGASA20 </name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z> <station key=“D”><name>ISHIGAKI</name><terminal>VERA-01</terminal><raw-file>./raw-file</raw-file><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z> <clock key=“A”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D”><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name=“3C345” ><ra>16h42m </ra><dec>+39d48' </dec></source> <source name="NRAO512"><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source> 3C345</source><frequency> </frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency> </frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"><epoch>2003/328 03:11:00</epoch><length>3360</length><source>Multi</source><stations>ABCD</stations></process> <process no="0003"><epoch>2003/328 04:25:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0004"><epoch>2003/328 05:49:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> </schedule>

6 相関処理の流れ ～幾何学的遅延ファイルの変換～
tau2geo –in=MIZNAO20.A.tau --out=MIZNAO20_ _A-Beam.geo tau2geo –in=MIZNAO20.B.tau --out=MIZNAO20_ _B-Beam.geo tau2geo –in=IRIKI.A.tau --out=IRIKI_ _A-Beam.geo tau2geo –in=IRIKI.B.tau --out=IRIKI_ _B-Beam.geo tau2geo –in=OGASA20.A.tau --out=OGASA20_ _A-Beam.geo tau2geo –in=OGASA20.B.tau --out=OGASA20_ _B-Beam.geo tau2geo –in=ISHIGAKI.A.tau --out=ISHIGAKI_ _A-Beam.geo tau2geo –in=ISHIGAKI.B.tau --out=ISHIGAKI_ _B-Beam.geo CODAシステムから　

7 相関処理の流れ ～磁気テープからファイルへのコピー～
DMS-24 観測局-A #1 　　 ファイル化方針 　同一時刻の全観測局のデータをひとつのPC-VLBIへ 　　　　　　　　　　　　　　　利点 ローカルディスクで相関処理可能（ネットワーク転送は不要） 個々のＰＣ-VLBIで全基線相関処理を独立に実行 PC-VLBI数に相関処理速度は単純に比例 観測局-A #2 観測局-B #1 観測局-B #2 観測局-C #1 観測局-C #2 GICO3用 　スケジュール　 観測局-Z #2 DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array VERA 制御ソフト 時刻情報

8 相関処理の流れ ～相関処理～ gico3_corr --schedule=schedule.xml –cor-file=./cor-file –multi=8 （ＶＥＲＡ-1 4局/4巻分/8192点/1Hz）　 使用したPCのスペック　 プロセス番号 　　記録開始時刻 時間長 [秒] No0001 2003/328 01:34:00 　3960 No0002 2003/328 03:11:00 　3360 No0003 2003/328 04:25:00 No0004 2003/328 05:49:00 合計 15240(254分) CPU 使用率 約1000分

9 ×9台 PC9台での分散相関処理速度 三鷹ＦＸ相関器 三鷹ＦＸ相関器 Mother SuperMicro X7DBE CPU
Xeon X5355(4-core/2.66GHz)×2 Memory 2GB×2 Raid HighPoint RR2340 (SATA 0.5/1TB×16) ×9台 三鷹ＦＸ相関器 三鷹ＦＸ相関器

10 三鷹ＦＸとの相関処理の一致度 振幅 観測局 ：VERA4局 観測データ ：2003/328 01:34:00-02:40:00
三鷹ＦＸとの相関処理の一致度　振幅 観測局 ：VERA4局 観測データ ：2003/328 01:34:00-02:40:00 観測天体 ：3C345/NRAO512 (2ビームモード) 観測モード ：VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )　 積分時間 ：1点当たり8秒　

11 三鷹ＦＸとの相関処理の一致度　位相 周波数：22.227GHz

12 三鷹ＦＸとの相関処理の一致度　郡遅延

13 　三鷹ＦＸとの相関処理の一致度　SNR

14 まとめ 定常運用フェーズへ移行中 PC-VLBI システム ソフトウェア相関処理によるＶＥＲＡ相関処理系を構築
PC9台の使用でVERA-1、VERA-7共に三鷹ＦＸ相関器を上回る処理速度 VERA-1処理での相関処理結果は三鷹ＦＸとほぼ一致 マルチビーム処理や混合相関処理を実装 PC-VLBI 　システム　 定常運用フェーズへ移行中

15 混合相関処理 ～現在進行中～ ソフトウェア分光計で8秒積分＠1M点分光 デジタル分光計で処理 鹿島-34m － 岐阜-11m －

16 混合相関処理のスケジュール（仮） 赤：VERA４局 青：ADS1000+PC-VSI
<?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" > <speed> </speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <terminal name="ADS "><speed> </speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal> <terminal name="ADS "><speed> </speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“E"><name>KASHIMA </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS </terminal><directory>./raw-file</dir.. <station key=“F”><name>GIFU-11m </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS </terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“E"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“F"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C446" ><ra>16h42m </ra><dec>+39d48' </dec></source> <source name=“J "><ra>16h40m </ra><dec>+39d46' </dec></source> <source name=“W49N“ ><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source>Unselect</source><frequency>+2222７000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>W349N</source><stations>ABCDEF</stations></process> <process no="0002"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>3C446</source><stations>ABCDEF</stations></process> </schedule> 赤：VERA４局 青：ADS1000+PC-VSI

17 VERAと大学連携との混合相関処理機能 観測日時 2007年11月19日11時～24時（JST） 観測局
VERA(4局)、鹿島-34m、岐阜-11m 記録システム 観測周波数帯 21971MHz～22483MHｚ （下図参照） 観測天体 3C446/J 、W49N、その他数天体 21971MHｚ 22227MHｚ 22483MHｚ 128MHz USB VERA4局 128MHz USB 鹿島34ｍ局 256MHz USB (512Msps/2bit) 岐阜11ｍ局 512MHz LSB (1024Msps/2bit)

18 プロセス毎にローカル定義も可能 <?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" ><speed> </speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C345" ><ra>16h42m </ra><dec>+39d48' </dec></source> <source name="NRAO512"><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source> C345</source><frequency>+2222７000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency>+2222７000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <source name=“source-01"><ra>16h42m </ra><dec>+39d48' </dec></source> <source name=“source-02"><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source> source-01</source><frequency>+2222７000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source> source-02</source><frequency>+2222７000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations> </process> </schedule>

19 Giga-bit Ether Switching Hub
システムの構成 VERA System GICO3 System Giga-bit Ether Switching Hub DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps

20 5局相関処理システム構成 ノンブロッキング型スイッチングハブ DIR-2000 1Gbps VSI Interface PC-VLBI
Disk-Array 制御用PC　　 ５局相関処理システム　 DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array GbE VLBI局　 汎用ネットワーク　　 GALAXY 光伝送 装置

21 三鷹ＦＸとの相関処理結果 ～まとめ～ 振幅、郡遅延、SNRはほぼ一致 相関位相は８度程度、2ビーム間では約1度の差
三鷹FXとGICO3の差を3960秒平均化したもの 相関振幅　3C345 / NRAO512 /　 [%] 相関位相　3C345 / NRAO512 / 　　　　　 　 [Deg] 　 郡遅延　3C345 / NRAO512 / 　　　　　　 [Sample] SNR　3C345 / NRAO512 / 　　　　　　　　　[σ] 振幅、郡遅延、SNRはほぼ一致 相関位相は８度程度、2ビーム間では約1度の差　　

22 混合相関処理方法 実数変換 量子化ビットの差 を吸収 N-FFT LSB-USB変換 時系列データに ｛+1,-1,+1,-1…}
　　 実数変換 量子化ビットの差 　　　を吸収 N-FFT LSB-USB変換 時系列データに ｛+1,-1,+1,-1…} 　 を乗算する 周波数 実数変換 量子化ビットの差 　　　を吸収 M-FFT LSB-USB変換 時系列データに ｛+1,-1,+1,-1…} 　 を乗算する 周波数 相関出力