J-PARC 実験におけるデータ収集環境とシステムデザイン KEK Electronics/Online Group 五十嵐　洋一

講演の内容マップ データ収集系, KEK-VME 概要 五十嵐 KEK-VME System 構築 仲吉 KEK-VME Trigger 系 田中 KEK-VME Read-out 系 田内 既存システム 井上 将来の 可能性 内田

J-PARC 50 GeV-PS 実験 念頭に置いたデータ収集系の要求性能 実現するための問題点 Trigger rate: 500Hz ~ 10kHz Channel 数 > 1k データ量 1MB/sec ~ 数十MB/sec 実現するための問題点 Dead time < 数 msec System integration 多数の channel 多数にわたるクレート モジュールの供給 市場に物理測定用 A/D モジュールが少ない。 トラディショナルなシステムの相対的な高コスト化 Channel 数の増加 安価な高性能技術

解決手段 (Dead Time) モジュールの構造の変更 Front-end data reduction モジュールの単位でのデータの削減 バッファ・メモリをバスの前に モジュール単位で十分なバッファを持たせる。 Front-end data reduction モジュールの単位でのデータの削減 エレクトロニクスの進歩により安価にフロントエンドにメモリやシーケンサ、プロセッサを搭載することが可能。

Front-end of Read-out module TRIGGER Standard bus トラディショナルなシステム Processor が データを集め終わるまでが Dead time フロントエンドバッファリング 細かい単位で FIFO にデータをバッファリング Trigger の分布を一様に均すことで Dead time は ～1/10 に FIFOの後ろでは Real-time system が不要 AD module AD module AD module Processor AD module BUSY release Local bus AD FIFO AD FIFO AD FIFO Processor AD FIFO

解決手段 (モジュールの供給) モジュール開発のベースとなるプラットフォームの開発 ユーザーと共に必要なモジュールを開発。 A/D CARD Power/Bus crate: KEK-VME Read-out platform: COPPER ユーザーと共に必要なモジュールを開発。 開発するのはプラットフォーム上の小さな A/D の部分のみ A/D CARD POWER CRATE READOUT PLATFORM

Schematic view of a read-out module Standard components 9U Euro card VME-32 compatible PCI Module structure Front-end Buffering Pipeline read-out VME PCI Local bus Shared Memory ADC/TDC (FINESSE) FIFO On-board data reduction PrPMC (Processor) ADC/TDC (FINESSE) FIFO Signals from detectors To Central Trigger Trigger module This is schematic view of the read-out module. The read-out module has consist of a base-board and front-end AD daughter-card and digital card by mezzanine system. There are four front-end card slot on the base-board. Signal from detectors are received by the front-end card. And font-end card is connected with base-board by large size FIFOs. The base-board is equipped PCI-bus for digital process. There are a slot for processor, a slot for trigger module and a PCI free slot. The data are transferred from the front-end card to the processor by the sequencer. And data transferred to downstream DAQ system via network or VME-bus or serial-link installed free slot. ADC/TDC (FINESSE) FIFO Bridge PLX9054 Free Slot To Downstream DAQ System ADC/TDC (FINESSE) FIFO On-board Network interface Serial Link Network Etc… 9U Euro Card

解決手段 (System Integration) ネットワークによる分散システム ネットワーク技術の進歩により　1Gbps～10Gbps　の転送が可能。 PLD, PC, Linux など一般的で良く知られた技術の導入 組み上げのコストを下げるために出来るだけ特殊なものは使わない PC を組み込んだモジュール群 Read-out platform: COPPER PC 内臓 CAMAC C.C.: CC/Net

System integration ADC+PC をユニットとしてネットワークで組み合わせる。 COPPER CC/NET TKO/VME/VME-PC Read-out は違うが、その他は Software 上は同じものとして扱える。 よく知られた馴染み深い環境の利用 PC/Linux 2.4 豊富なアプリケーション/開発環境 GCC Script 言語 A/D PC Network

Overview of DAQ configuration (Data Path) Network VME-bus Open interface (USB/FireWire/…) COPPER Network based Event Builder PC Network Back-end PC PC New System Network To Data server TKO VICTOR/VME-CPU SCH/SMP/VME-CPU Local Storage CAMAC CC/NET Traditional System

Software Read-out driver DAQ framework Bus を中心としたものから Network を中心としたものへ Network based Event builder Slow/Run control Network base message exchanger Control Watch dog Data carrier Format Pack/unpack interface

Trigger distribution システムの半パイプライン化 Trigger/busy のスキームは O(10 kHz) トリガのレンジでは問題ないのでそのまま使う。 System の構築、 debug に有利 Event のタグが重要に 中央管理のタグ モジュール毎のタグ モジュールが持つ local counter On-board PC が持つ local counter GP-IO/KEK-VME を使った Trigger/Tag の分配 (Belle TT system を使った Trigger/Tag の分配)

Trigger/Tag distribution Trigger Logic TRIGGER/RESET TAG BUSY GP-IO GP-IO SMP GONG I/O register SCH C.C. I/O register Int. register COPPER COPPER COPPER COPPER KEK-VME TKO CAMAC

Storage 一般LAN とは別に専用に光ケーブルを要求済 HDホールから Data Center まで 1 Gbps を専用に確保 Data center が何処にどのような形で出来るかはまだ未定。 大容量 Disk に 溜め込み順次 Data center のストレージに転送。 Media server RAID

開発の現状 Hardware Software KEK-VME crate Read-out module 9U/6U ほぼ完成 Low-noise 電源を開発中 Read-out module 実用モジュールが完成 Front-end A/D card 500 MHz/65MHz FADC, AMT TDC が実用レベル Trigger-Card 実用試験中 Software 主要な Device driver は動いている。 DAQ framework 試験用DAQシステムを動かして試験中 実用への R&D

利用・協力 Belle DAQ KL 実験 KEK短寿命核実験 J-PARC Beam line テレスコープアレイ実験 共同開発 主 A/D (pipeline TDC) を Fast-bus  KEK-VME に移行 EFC を使って実用試験中  うまく動いている。 KL 実験 FADC を検討/試験 KEK短寿命核実験 J-PARC Beam line KEK-VME を使った モジュール (Slow-ext.) モニター用の FADC (Fast-ext.) テレスコープアレイ実験

Know-how の集積 一緒にやりませんか? Web site/Portal site の準備 現行の開発ミーティングをユーザーミーティングに移行 開発ミーティング参加 Gr. KEK elec./online gr., Belle DAQ gr., 広島工業大学, T2K 今後は DAQ frame work の開発 利用のための Know-how をためる。 開発の需要調査 などが中心 一緒にやりませんか?

まとめ KEK electronics/online group では J-PARC を含む次世代粒子検出実験のサポートのために KEK-VME System を開発しています。 KEK-VME crate, Read-out module, いくつかの Front-end card が Ready です。 Front-end card (それ以外でも) の共同開発はいつでも受け付けます。 これからの課題 DAQ framework System の実証試験 実験グループと共に実験への適用

Crate and Power Supply (KEK-VME) Euro card/crate 9U and 6U VME-32 bus J0 Connector for Power Supply Treat front-end analog to digital conversion devices Pin assignment of J0 Pos. z a b c d e f 1 GND 2 3 4 +3.3V 5 6 7 8 9 10 -3.3V 11 12 13 14 -5V 15 16 S1+ S1- S2+ S2- 17 S3+ S3- S4+ S4- 18 S5+ S5- S6+ S6- 19 S7+ S7- C1 C2 +3.3V -3.3V -5.0V Voltage -5.0V -3.3V +3.3V Total Max Current 100A 320A 200A A low noise power supply was developed. (1/10 less than standard VME power supply)

Trigger distribution NIM/ECL/LVDS KEK-VME TKO Trigger Logic (NIM/VME/KEK-VME) 128input Trigger module Trigger module (GP-IO) Clock generator Gate generator COPPER Trigger logic building tools KEK-VME NIM/ECL/LVDS Programmable logic device GONG TKO General purpose I/O module (It can used as trigger receiver) CAMAC KEK-VME logic modules can be replaced traditional NIM logic modules.

データバッファリング 非同期に現れるイベントを同期的にならす イベント間の時間幅 ポアソン分布 → 等間隔 ポアソン分布　→　等間隔 イベント発生時間 Buffer t t データを取り込んでいる時間 Dead Time を 10%に仮定すれば、 バッファの前後で必要とされる速度は10倍違う!

Software model (Data collection) ADC Event builder Ring buffer Ring buffer Ring buffer Data read Data reader TCP/IP Ring buffer Data reader Ring buffer Data reader Software は Linux 上で開発・稼動可能

Software model (Slow control) Network を超えて制御メッセージ/ステータス の交換を行う framework