PC-VLBIを用いた VERA用相関処理システムの構築3

Presentation on theme: "PC-VLBIを用いた VERA用相関処理システムの構築3"— Presentation transcript:

1 PC-VLBIを用いた VERA用相関処理システムの構築3
　木村守孝、小山泰弘、関戸衛(情報通信研究機構) 　小林秀行、川口則幸、小山友明、原哲也(国立天文台) 三鷹FX相関器　 PC-VLBI 　システム　

2 VERA用ソフトウェア相関器要求仕様 相関局数 制限なし（三鷹FX：最大5局） 相関処理形式 ソフトウェアFX型（相互相関&自己相関）
相関処理速度 1Gbps/5局観測時に0.5倍～1.0倍速程度 処理可能形式 VERA、Galaxy、K5/VSI、K5/VSSP、Mark-V、（VSOP、K4） 相関出力形式 CODA形式、（FITS 形式） 分光点数 1k‐64k点程度　（三鷹FX：16k点、さらにバンチング処理必要） 　 相関出力速度 1～100Hz程度　（三鷹FX：最大40Hz） 　 サイズ ラック1本（20U） 追加機能 多ビーム対応、複視野対応、混合相関対応、…

3 5局相関処理システム構成 ノンブロッキング型スイッチングハブ DIR-2000 1Gbps VSI Interface PC-VLBI
Disk-Array 制御用PC　　 ５局相関処理システム　 DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array GbE VLBI局　 汎用ネットワーク　　 GALAXY 光伝送 装置

4 ソフトウェア相関処理の流れ ～全体図～ ＶＥＲＡ 観測スケジュール （ＶＥＸ） ＶＥＲＡ 遅延情報ファイル （ＣＯＤＡ） ＶＥＲＡ
観測スケジュール　 （ＶＥＸ） ＶＥＲＡ 遅延情報ファイル （ＣＯＤＡ） ＶＥＲＡ 観測テープ （DIR-2000） フォーマット変換 (vex2sc) フォーマット変換 (tau2geo) ディスクへコピー ＧＩＣＯ３用 観測＆相関 スケジュール ＧＩＣＯ３用 遅延情報ファイル ＧＩＣＯ３用 観測データファイル ＧＩＣＯ３ 相関処理プログラム　 ＧＩＣＯ３用 相関処理結果ファイル フォーマット変換 (cor2dat) ＶＥＲＡ 相関処理結果ファイル （ＣＯＤＡ） ＶＥＲＡ 解析系ソフト

5 相関処理の流れ ～GICO3用スケジュールの作成～
<?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" ><speed> </speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C345" ><ra>16h42m </ra><dec>+39d48' </dec></source> <source name="NRAO512"><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source> C345</source><frequency>+2222７000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency>+2222７000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"><epoch>2003/328 03:11:00</epoch><length>3360</length><source>Multi</source><stations>ABCD</stations></process> <process no="0003"><epoch>2003/328 04:25:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0004"><epoch>2003/328 05:49:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> </schedule>

6 観測テープからファイル化 DMS-24 個々のスキャン毎にファイル化 観測時刻情報はP-Dataで取得 カートをVERA系の運用ソフトで制御
観測」テープ10～20巻程度を一台のPC-VSIに格納 DIR2000を5台同時に使用しての5局の平行ファイル化 観測テープ #1 観測テープ #2 観測テープ #3 GICO3用 　スケジュール　 計算機名 記録容量(1Gbpsでの記録長) Mitaka-01 8TB (約16時間分) Mitaka-02 Mitaka-03 Mitaka-04 Mitaka-05 Mitaka-06 Mitaka-07 Mitaka-08 16TB (約32時間分) Mitaka-09 観測テープ #n DIR-2000 1Gbps VSI Interface データ PC-VLBI Disk-Array 時刻 VERA 制御ソフト

7 相関処理 相関結果置き場 gico3_corr --schedule=schedule.xml –cor-file=./cor-file –geo-file=./geo-file 遅延ファイル置き場 （指定しない場合は gico3内部で計算) 観測スケジュール

8 三鷹ＦＸとの相関処理結果 振幅 観測局 ：VERA4局 観測データ ：2003/328 01:34:00-02:40:00
三鷹ＦＸとの相関処理結果　振幅 観測局 ：VERA4局 観測データ ：2003/328 01:34:00-02:40:00 観測天体 ：3C345/NRAO512 (2ビームモード) 観測モード ：VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch )　 積分時間 ：1点当たり8秒　

9 三鷹ＦＸとの相関処理結果　位相 周波数：22.227GHz

10 三鷹ＦＸとの相関処理結果　郡遅延

11 三鷹ＦＸとの相関処理結果　SNR

12 三鷹ＦＸとの相関処理結果 ～まとめ～ 振幅、郡遅延、SNRはほぼ一致 相関位相は８度程度、2ビーム間では約1度の差
三鷹FXとGICO3の差を3960秒平均化したもの 相関振幅　3C345 / NRAO512 /　 [%] 相関位相　3C345 / NRAO512 / 　　　　　 　 [Deg] 　 郡遅延　3C345 / NRAO512 / 　　　　　　 [Sample] SNR　3C345 / NRAO512 / 　　　　　　　　　[σ] 振幅、郡遅延、SNRはほぼ一致 相関位相は８度程度、2ビーム間では約1度の差　　

13 VERAと大学連携との混合相関処理機能 観測日時 2007年11月19日11時～24時（JST） 観測局
VERA(4局)、鹿島-34m、岐阜-11m 記録システム 観測周波数帯 21971MHz～22483MHｚ （下図参照） 観測天体 3C446/J 、W49N、その他数天体 21971MHｚ 22227MHｚ 22483MHｚ 128MHz USB VERA4局 128MHz USB 鹿島34ｍ局 256MHz USB (512Msps/2bit) 岐阜11ｍ局 512MHz LSB (1024Msps/2bit)

14 混合相関処理のスケジュール（仮） 赤：VERA４局 青：ADS1000+PC-VSI
<?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" > <speed> </speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <terminal name="ADS "><speed> </speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal> <terminal name="ADS "><speed> </speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA </terminal><directory>./raw-file</dir.. <station key=“E"><name>KASHIMA </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS </terminal><directory>./raw-file</dir.. <station key=“F”><name>GIFU-11m </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS </terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“E"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“F"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C446" ><ra>16h42m </ra><dec>+39d48' </dec></source> <source name=“J "><ra>16h40m </ra><dec>+39d46' </dec></source> <source name=“W49N“ ><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source>Unselect</source><frequency>+2222７000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>W349N</source><stations>ABCDEF</stations></process> <process no="0002"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>3C446</source><stations>ABCDEF</stations></process> </schedule> 赤：VERA４局 青：ADS1000+PC-VSI

15 混合相関処理方法 実数変換 量子化ビットの差 を吸収 N-FFT LSB-USB変換 時系列データに ｛+1,-1,+1,-1…}
　　 実数変換 量子化ビットの差 　　　を吸収 N-FFT LSB-USB変換 時系列データに ｛+1,-1,+1,-1…} 　 を乗算する 周波数 実数変換 量子化ビットの差 　　　を吸収 M-FFT LSB-USB変換 時系列データに ｛+1,-1,+1,-1…} 　 を乗算する 周波数 相関出力

16 混合相関処理 ～現在進行中～ ソフトウェア分光計で8秒積分＠1M点分光 デジタル分光計で処理 鹿島-34m － 岐阜-11m －

17 まとめと今後 今年度中に天文台へ納品 VERA-1(256Msps/2bit/2ch)モードでの相関処理結果は三鷹FXと殆ど一致

18 プロセス毎にローカル定義も可能 <?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" ><speed> </speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C345" ><ra>16h42m </ra><dec>+39d48' </dec></source> <source name="NRAO512"><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source> C345</source><frequency>+2222７000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency>+2222７000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <source name=“source-01"><ra>16h42m </ra><dec>+39d48' </dec></source> <source name=“source-02"><ra>16h40m </ra><dec>+39d46' </dec></source> <stream><label>CH01</label><source> source-01</source><frequency>+2222７000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source> source-02</source><frequency>+2222７000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations> </process> </schedule>

19 三鷹FX相関器 三鷹FX相関器（含む磁気記録装置）の 三鷹FX相関器 運用維持が今後困難に！ 年代 1990年代 1997年 2002年
2005年 20xx年 VSOP計画 相関器設計 運用開始 運用中 運用終了 VERA計画 本格運用 三鷹FX相関器（含む磁気記録装置）の 　　　運用維持が今後困難に！ 三鷹FX相関器 ソフトウェア相関器で予備系の構築　　 　　天文台からNICTへ研究委託

20 相関処理 real 1008m12s user 7316m21s sys 27m00s （¼倍速/PC1台）×9(PCの総数)=2.25倍速
実行コマンド：time gico3_corr --schedule=schedule.xml –cor-file=./cor-file –geo-file=./geo-file 相関処理リスト プロセス番号 　　記録開始時刻 時間長 [秒] No0001 2003/328 01:34:00 　3960 No0002 2003/328 03:11:00 　3360 No0003 2003/328 04:25:00 No0004 2003/328 05:49:00 合計 15240(254分) Time の出力 　　　1台のPCで処理 Intel:Xeon X5355(2.66GHz)×2 real m12s user 　7316m21s sys 　 27m00s （¼倍速/PC1台）×9(PCの総数)=2.25倍速 Load Average CPU 使用率 800[%] 8 12時 29時

21 Giga-bit Ether Switching Hub
システムの構成 VERA System GICO3 System Giga-bit Ether Switching Hub DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps