PC-VLBIを用いた VERA用相関処理システムの構築3 木村守孝、小山泰弘、関戸衛(情報通信研究機構) 小林秀行、川口則幸、小山友明、原哲也(国立天文台) 三鷹FX相関器 PC-VLBI システム
VERA用ソフトウェア相関器要求仕様 相関局数 制限なし(三鷹FX:最大5局) 相関処理形式 ソフトウェアFX型(相互相関&自己相関) 相関処理速度 1Gbps/5局観測時に0.5倍~1.0倍速程度 処理可能形式 VERA、Galaxy、K5/VSI、K5/VSSP、Mark-V、(VSOP、K4) 相関出力形式 CODA形式、(FITS 形式) 分光点数 1k‐64k点程度 (三鷹FX:16k点、さらにバンチング処理必要) 相関出力速度 1~100Hz程度 (三鷹FX:最大40Hz) サイズ ラック1本(20U) 追加機能 多ビーム対応、複視野対応、混合相関対応、…
5局相関処理システム構成 ノンブロッキング型スイッチングハブ DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array 制御用PC 5局相関処理システム DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array DIR-2000 1Gbps VSI Interface PC-VLBI Disk-Array GbE VLBI局 汎用ネットワーク GALAXY 光伝送 装置
ソフトウェア相関処理の流れ ~全体図~ VERA 観測スケジュール (VEX) VERA 遅延情報ファイル (CODA) VERA 観測スケジュール (VEX) VERA 遅延情報ファイル (CODA) VERA 観測テープ (DIR-2000) フォーマット変換 (vex2sc) フォーマット変換 (tau2geo) ディスクへコピー GICO3用 観測&相関 スケジュール GICO3用 遅延情報ファイル GICO3用 観測データファイル GICO3 相関処理プログラム GICO3用 相関処理結果ファイル フォーマット変換 (cor2dat) VERA 相関処理結果ファイル (CODA) VERA 解析系ソフト
相関処理の流れ ~GICO3用スケジュールの作成~ <?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" ><speed>0256000000</speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C345" ><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name="NRAO512"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <stream><label>CH01</label><source> 3C345</source><frequency>+22227000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency>+22227000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"><epoch>2003/328 03:11:00</epoch><length>3360</length><source>Multi</source><stations>ABCD</stations></process> <process no="0003"><epoch>2003/328 04:25:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0004"><epoch>2003/328 05:49:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> </schedule>
観測テープからファイル化 DMS-24 個々のスキャン毎にファイル化 観測時刻情報はP-Dataで取得 カートをVERA系の運用ソフトで制御 観測」テープ10~20巻程度を一台のPC-VSIに格納 DIR2000を5台同時に使用しての5局の平行ファイル化 観測テープ #1 観測テープ #2 観測テープ #3 GICO3用 スケジュール 計算機名 記録容量(1Gbpsでの記録長) Mitaka-01 8TB (約16時間分) Mitaka-02 Mitaka-03 Mitaka-04 Mitaka-05 Mitaka-06 Mitaka-07 Mitaka-08 16TB (約32時間分) Mitaka-09 観測テープ #n DIR-2000 1Gbps VSI Interface データ PC-VLBI Disk-Array 時刻 VERA 制御ソフト
相関処理 相関結果置き場 gico3_corr --schedule=schedule.xml –cor-file=./cor-file –geo-file=./geo-file 遅延ファイル置き場 (指定しない場合は gico3内部で計算) 観測スケジュール
三鷹FXとの相関処理結果 振幅 観測局 :VERA4局 観測データ :2003/328 01:34:00-02:40:00 三鷹FXとの相関処理結果 振幅 観測局 :VERA4局 観測データ :2003/328 01:34:00-02:40:00 観測天体 :3C345/NRAO512 (2ビームモード) 観測モード :VERA-1(A-beam:256Msps/2bit ×1ch 、 B-beam:256Msps/2bit×1ch ) 積分時間 :1点当たり8秒
三鷹FXとの相関処理結果 位相 周波数:22.227GHz
三鷹FXとの相関処理結果 郡遅延
三鷹FXとの相関処理結果 SNR
三鷹FXとの相関処理結果 ~まとめ~ 振幅、郡遅延、SNRはほぼ一致 相関位相は8度程度、2ビーム間では約1度の差 三鷹FXとGICO3の差を3960秒平均化したもの 相関振幅 3C345 / NRAO512 +0.0003987 / +0.0000976 [%] 相関位相 3C345 / NRAO512 +7.452 / +8.499 [Deg] 郡遅延 3C345 / NRAO512 +0.00141 / -0.00316 [Sample] SNR 3C345 / NRAO512 +0.0729 / +0.01293 [σ] 振幅、郡遅延、SNRはほぼ一致 相関位相は8度程度、2ビーム間では約1度の差
VERAと大学連携との混合相関処理機能 観測日時 2007年11月19日11時~24時(JST) 観測局 VERA(4局)、鹿島-34m、岐阜-11m 記録システム 256Msps/2bit/2ch@VERA 512Msps/2bit/1ch@鹿島→実時間伝送→三鷹で1Gbps記録 1024Msps/2bit/1ch@岐阜→実時間伝送→三鷹で2Gbps記録 観測周波数帯 21971MHz~22483MHz (下図参照) 観測天体 3C446/J2218-03、W49N、その他数天体 21971MHz 22227MHz 22483MHz 128MHz USB VERA4局 128MHz USB 鹿島34m局 256MHz USB (512Msps/2bit) 岐阜11m局 512MHz LSB (1024Msps/2bit)
混合相関処理のスケジュール(仮) 赤:VERA4局 青:ADS1000+PC-VSI <?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" > <speed>0256000000</speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <terminal name="ADS1000-01"><speed>1024000000</speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal> <terminal name="ADS1000-03"><speed>0512000000</speed><channel>01</channel><bit>2</bit><level>-1.5,+0.5,-0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“E"><name>KASHIMA </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS1000-03</terminal><directory>./raw-file</dir.. <station key=“F”><name>GIFU-11m </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>ADS1000-01</terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2007/323 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“E"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“F"><epoch>2007/328 03:00:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C446" ><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name=“J2218-03"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <source name=“W49N“ ><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <stream><label>CH01</label><source>Unselect</source><frequency>+22227000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>W349N</source><stations>ABCDEF</stations></process> <process no="0002"><epoch>2007/323 03:00:00</epoch><length>1800</length><source>3C446</source><stations>ABCDEF</stations></process> </schedule> 赤:VERA4局 青:ADS1000+PC-VSI
混合相関処理方法 実数変換 量子化ビットの差 を吸収 N-FFT LSB-USB変換 時系列データに {+1,-1,+1,-1…} 実数変換 量子化ビットの差 を吸収 N-FFT LSB-USB変換 時系列データに {+1,-1,+1,-1…} を乗算する 周波数 実数変換 量子化ビットの差 を吸収 M-FFT LSB-USB変換 時系列データに {+1,-1,+1,-1…} を乗算する 周波数 相関出力
混合相関処理 ~現在進行中~ ソフトウェア分光計で8秒積分@1M点分光 デジタル分光計で処理 鹿島-34m - 岐阜-11m -
まとめと今後 今年度中に天文台へ納品 VERA-1(256Msps/2bit/2ch)モードでの相関処理結果は三鷹FXと殆ど一致
プロセス毎にローカル定義も可能 <?xml version="1.0" encoding="UTF-8" ?> <schedule> <terminal name="VERA-01" ><speed>0256000000</speed><channel>02</channel><bit>2</bit><level>-1.5,-0.5,+0.5,+1.5</level></terminal> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-01 </terminal><directory>./raw-file</dir.. <clock key="A"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“B"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“C"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <clock key=“D"><epoch>2003/328 01:34:00</epoch><delay>+0.0</delay><rate>+0.0</rate><acel>+0.0</acel><jerk>+0.0</jerk><snap>+0.0</snap></clock> <source name="3C345" ><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name="NRAO512"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <stream><label>CH01</label><source> 3C345</source><frequency>+22227000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source>NRAO512</source><frequency>+22227000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <process no="0001"><epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations></process> <process no="0002"> <station key="A"><name>MIZNAO20</name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“B"><name>IRIKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“C"><name>OGASA20 </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <station key=“D"><name>ISHIGAKI </name><pos-x>#.#</pos-x><pos-y>#.#</pos-y><pos-z>#.#</pos-z><terminal>VERA-07 </terminal><directory>./raw-file</dir.. <source name=“source-01"><ra>16h42m58.809967</ra><dec>+39d48'36.99406</dec></source> <source name=“source-02"><ra>16h40m29.600000</ra><dec>+39d46'46.00000</dec></source> <stream><label>CH01</label><source> source-01</source><frequency>+22227000000</frequency><channel>01</channel><fft-point>2048</fft-point><output-Hz>1</out… <stream><label>CH02</label><source> source-02</source><frequency>+22227000000</frequency><channel>02</channel><fft-point>2048</fft-point><output-Hz>1</out… <epoch>2003/328 01:34:00</epoch><length>3960</length><source>Multi</source><stations>ABCD</stations> </process> </schedule>
三鷹FX相関器 三鷹FX相関器(含む磁気記録装置)の 三鷹FX相関器 運用維持が今後困難に! 年代 1990年代 1997年 2002年 2005年 20xx年 VSOP計画 相関器設計 運用開始 運用中 運用終了 VERA計画 本格運用 三鷹FX相関器(含む磁気記録装置)の 運用維持が今後困難に! 三鷹FX相関器 ソフトウェア相関器で予備系の構築 天文台からNICTへ研究委託
相関処理 real 1008m12s user 7316m21s sys 27m00s (¼倍速/PC1台)×9(PCの総数)=2.25倍速 実行コマンド:time gico3_corr --schedule=schedule.xml –cor-file=./cor-file –geo-file=./geo-file 相関処理リスト プロセス番号 記録開始時刻 時間長 [秒] No0001 2003/328 01:34:00 3960 No0002 2003/328 03:11:00 3360 No0003 2003/328 04:25:00 No0004 2003/328 05:49:00 合計 15240(254分) Time の出力 1台のPCで処理 Intel:Xeon X5355(2.66GHz)×2 real 1008m12s user 7316m21s sys 27m00s (¼倍速/PC1台)×9(PCの総数)=2.25倍速 Load Average CPU 使用率 800[%] 8 12時 29時
Giga-bit Ether Switching Hub システムの構成 VERA System GICO3 System Giga-bit Ether Switching Hub DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps DIR-2000 1Gbps VERA Format VSI Interface PC-VSI Disk-Array Dual Ether DIR-2000 1Gbps