スーパーカミオカンデに おけるDAQシステム 山田 悟 1, イントロダクション 2, SKオンラインDAQ の構造

Presentation on theme: "スーパーカミオカンデに おけるDAQシステム 山田 悟 1, イントロダクション 2, SKオンラインDAQ の構造"— Presentation transcript:

1 スーパーカミオカンデに おけるDAQシステム 山田 悟 1, イントロダクション 2, SKオンラインDAQ の構造
3, T2Kビームとの同期 4, 近傍超新星爆発時の対応 5, まとめ 東北大学 ニュートリノ科学研究センター 山田　悟

2 1, イントロダクション

3 Charge and timing information of
スーパーカミオカンデ検出器 Water Cherenkov detector 13,000 PMTs are equipped in 50,000 tons water tank ν Charge and timing information of PMT hits are recorded ©Scientific American Cherenkov light Obtain Cherenkov Ring images List of physics topics of the SK detector Atomospheric neutrino oscillation : Δm2, θ23 Solar neutrino oscillation : Δm2, θ12 Neutrino from accerelator(T2K) : search for θ13 Search for neutrino from supernova (burst or diffused) Proton decay search 3

4 QTC-Based Electronics with Ethernet
SK Electronics (installed in 2008) QTC-Based Electronics with Ethernet (QBEE) Ethernet Readout Features 24channel input QTC (custom ASIC) Charge measurement wide dynamic range (>2000pC) multi-hit TDC (AMT3) Data is sent to Online system via Ethernet External 60MHz clock is used for synchronization with other Qbees On-board pulsar for charge calibration Low power consumption ( < 1W/ch ) Network Interface Card PMT signal 60MHz Clock TDC Trigger Calibration Pulser QTC TDC FPGA

5 Data-readout via Ethernet
QBEE throughput from analog pulsar Input to a readout PC Custom Network Interface Card 12 10 8 6 4 2 MAX : 11.8MB/s (~95Mbps) throughput rate (MB/s) Requirement input data rate (MB/s) Required data transfer speed : (PMT dark noise) 10kHz x 6byte x 24ch = 1.5MB/sec/board  Fast enough. Reaches the theoretical limit of 100BASE-TX !! TCP/IP firmware (SiTCP *) and interface logic are implemented on FPGA IP address is set by dip switch 32MB SDRAM * Developed by Uchida-san(KEK)

6 2, SKオンラインDAQ の構造

7 SKオンラインシステムアップグレードの動機
a, より低エネルギーの太陽ニュートリノを観測する 　　(エネルギー閾値を下げた大量のデータを処理できるように) b, 超新星背景ニュートリノの探索等のためによりintelligentなトリガーを用いたい　( e.g. ニュートリノイベントとそれによって発生した中性子によるガンマ線との遅延同時計測 →ハードウェアトリガーを無くしてで全ヒットを取るシステムを目指す, Record Every Hit system 従来のシステム 閾値を 超えた場合 トリガーモジュールがある時間内の PMTヒット数をモニタ Event triggerが出されたhitのみ がオンラインシステムに送信される Event Trigger Higher rate Complex trigger 新システム ハードウェアでトリガーはかけない ->全ヒットがオンラインで処理される オンラインDAQにおいて、ソフトウェアトリガーがデジタイズされたヒット情報をみてイベントビルディングとリダクションを行う

8 ~ 430MB/s SKオンラインシステムの概略図 . 550 20 10 Offline analysis QBee Front
Event builder 24PMTs 30QBees QBee Front End PC Merger Software trigger QBee Front End PC QBee ~ 14MB/s/FEPC ~ 660kB/s/QBee ~ 4.5kHz/PMT ~ 430MB/s Merger Software trigger . QBee Organizer Recorded Data: 9MB/s typical Front End PC QBee Merger Software trigger Ethernet 1hit cell = 6bytel (ch, T, Q) Disk Sorting Data from 30Qbee 550 QBees 20 Front-end PCs 10 Merger PCs 13,000 PMTs Offline analysis オンラインDAQの特徴 front-end エレクトロニクスからオフラインにいたるまで、イーサネットでTCP/IP通信を 　用いるコンポーネントで構成されている オンラインＰＣは4コアＣＰＵのLinux PCで、Ｃ言語で書かれたマルチスレッドのアプリケーションが走る 分散処理のため、イベントビルディングは10PC、40プロセスが.並列して処理を行い、 data flow managerデーモンがデータの振り分けを担当している 8

9 SK DAQシステム坑内Network構成
坑外 offline システムへ コントロールルーム 中央ハット SW:48G TRG PC SW:48GbE SW:24GbE Backup FEPC GPS Merger PC ×10 Organizer Controller , etc 10GbE SW:48G 青: 100Base-T 黒：Gigabit Ethernet 周辺hut×4 FEPC FEPC FEPC FEPC FEPC SW:24G SW:48G SW:48G SW:48G SW:48G SW:24G QB×about20 QB×30 QB×30 QB×30 QB×30 QB×30

10 Hit-DATA cell Format ( 3Words/hit ）
Function of software in front-end PC Hit-DATA cell Format ( 3Words/hit ） 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 1st_Word 2nd_word 3rd_Word Bit ch TDC QTC gate count Range TRG Event # front-end Electronics （24ch/Board） front-end PC Allocated memory of fixed size QBee collector FIFO Event # n QBee collector FIFO To Merger n+1 . . Quick sort n+2 Sender FIFO n+3 . Sort data in time order pthread_create Collect Data by event # QBee collector FIFO

11 Performance of Front-end PC
～550 QBs 20 Front End PC 10 1 Orga nizer offline Function To collect data From 30 Qbees and sort the hit cells in time order Performance with dummy data Front-end PC can handle up to 15kHz dark rate ( PMT dark rate = 4 ~ 5kHz ) To make use of multi core CPUs, data in different time blocks are sorted in parallel by multi-threaded functions ↓ effective for the improvement of throughput 11

12 Network shared memory*
Data flow manager (1) 役割 20台のfront-end PCからのデータを後段の40個のmerger プロセスに 分散させる → データの送信先指示、受信確認作業を行う Network shared memory* (各PC間でTCPを用いて 通信を行い、localにあるshared memoryの内容を同期させる機能を持つデーモンプロセス。 Belleグループによって開発、使用されている。) Data flow manager Control distributing of data 3, 受信データ の報告 1, 送信可能 データの報告 2,送信命令(送信先) 20ms Time window Block 1 Block 1 Block 2 Block 3 FEPC Block 1 Merger PC Switch Block 2 Block 1 Block 2 Block 3 FEPC Merger PC Block 2

13 Data flow manager (2) イベントビルディングのためには20台のFront-end PCから1台のmerger processにデータ を送ることが必要　→　送信が集中してbottle neckとなる これを避けるために、data flow managerで一度に複数の送信命令を出すようにした 例) 命令キュー内の エントリ数 = 1 命令キュー内の エントリ数 = 3 Data flow managerが 送信命令を出すrate request:destination request :destination Required rate Req10 : MGR0 Req10 : MGR0 Req11 : MGR1 Req11 : MGR1 Req12 : MGR2 time Req12 : MGR2 time Req13 : MGR3 Req13 : MGR3 Req14 : MGR4 Req14 : MGR4 Req15 : MGR5 Req15 : MGR5 3個の命令を 同時に出し、各 FrontEnd PCが進み具合 に応じて送信を 行う 1個の命令が完了 してから次の命令を 出す. → 各front-end PCから送るデータの行き先が分散され、全体のthroughputも上昇した

14 Performance of the Online system
～550 QBs 20 Front End PC 10 Mer ger PC 1 Orga nizer PC offline Change the threshold of the software trigger and measure the efficiency of Online DAQ’s data processing. - 12kHz of Event Trigger rate can be processed without data loss, which is much larger than the max. Trigger rate in the previous System (~4kHz ) - Bottleneck is the disk write on the organizer PC ( max. ~50MB/s) process data w/o loss 14

15 Function of Merger receiver receiver Software trigger Heap sort .
event n n+5 n+4 n+3 n+2 n+1 FEPC receiver Merge the data from front-end PCs And sort in time order FEPC receiver data Software trigger . Heap sort Event Header . Block Header Block header event header data FEPC receiver

16 Function of Software trigger
Trigger windowをずらしながらdataをscan 200ns Mergerからのデータ 全FEPCからの1344 event分(22ms) が時間順にソートされた状態 200ns Window内のhitsumが閾値を超えると “Software” event “Software” event Offline (DISK) Typical Trigger type * Super Lowe (低エネルギー太陽ニュートリノ解析) * LowE, HIghE ( 大気ニュートリノ解析) T2K trigger　 (T2K用データ、T2Kビームに同期してデータを取り出す) * After trigger 　(ニュートリノ反応後にできた中性子によるガンマ線測定)

17 稼働状況 Replacement work was done for 2weeks in the end of Aug. 2008.
After the installation of the DAQ system, it started working since Sep. 6. DAQ system is stable and 24hrs operation is ongoing. Installed DAQ system in an elec. Hut Front-end PCs and network switches Qbees １か月間のData-takingの状況 Running time = 97% Normal run = 91% 17

18 3, T2Kビームとの同期

19 Online trigger monitor at SK
T2K (neutrino beam from Tokai to Kamioka) trigger By using GPS data of SK and Tokai sites, PMT hits within ±500μs are recorded as 　T2K triggered event ( 1st priority in software trigger ) Every hit data SK-GPS data Tokai-GPS Data From Tokai check HITSUM Triggered T2K triggered Offline Disk Merger + Software trigger 1st Reduction 2nd Reduction 3rd Reduction T2K triggered data Online trigger monitor at SK Spill information coming from J-PARC

20 4, 近傍超新星爆発時の対応

21 Distance between earth and SN (kpc)
超新星爆発が起こった場合のSKでのイベントレート SK: 宇宙線検出 → 通常時は安定なtrigger rate 500光年で起こった場合の SKでのイベントレートの時間変化 106 107 105 104 103 102 time [s] Event Rate [Hz] event rate [Hz] # of events/10s Prev Distance between earth and SN (kpc) ベテルギウスが爆発した場合 総イベント数　：　～30M events Max. event rate : ～ 30MHz

22 Setup of the SN burs test
Mimic a SN burst by a light pulsar (occupancy ~1.5 %) 1s 2s 7s Pre-scale = 1 Time Flash rate ~10MHz ~5MHz ~1MHz attenuator Laser diode Pre-scaler SK tank pulsar Duration = 10s Max. flashing rate of this system = 10MHz Max. event rate from the SN burst at the distance of 500ly will become 30MHz So we usually increase the occupancy (x4: 6-7%) to mimic those high rate case.

23 Estimation of the Limitation factor
from DAQ system for processing SN burst data (reminder) 定常的なイベントレートは Limitation of Online DAQ processing speed A, SLE trigger rate : 12-13kHz ボトルネックはdisk 書き込み Max. rate=14kHz 38kevents total 1/700 atten. (5kpc 位の距離での爆発) Occupancy (∼2%) Event counter information on DFM (Data flow manager) monitor 少し処理が遅れるが 直ぐに復帰する ４０秒くらいであれば、FE ボードの バッファに貯めておける。 -> 38kevents

24 更にレートを上げると LD flashing condition : 7.2 Mevents and larger occupancy(~6.7%) case. A : usual Data processing B : No disk writing onto the disk Processing SN burst data Merger PC Organizer Disk

25 Online DAQの通常運転状態でベテルギウスburst を処理するのは難しい
SN　burst時間 (10s程度 )のデータを逃さないようにする方向で対応

26 まとめ SKのオンラインDAQ 2008年夏にフロントエンドエレクトロニクスと一緒にアップグレード
2008年夏にフロントエンドエレクトロニクスと一緒にアップグレード　 ハードウェアトリガーでイベントを選別せず、データはすべてオンラインPCに送ってそこで処理（ソフトウェアトリガー） イベントビルディングは複数のPCで分散。エレキーPC、PC同士の接続はイーサネットで行う。 複数PC間の調整はnetwork shared memoryで行う その他に求められること T2Kビームとの同期 突発的なhigh rateへの対応（SN burst） ディスク書き込みがbottle neck SN burstのような短時間（～10s）のものに対しては 　　メモリバッファに貯めて処理を待つ方針でいる。 加えて情報量を減らした(時間当たりのhit数のみ)データを 取得するシステムを開発中。 26