HLab meeting 7/24/07 K. Shirotori

DAQ system for J-PARC Hadron DAQ software

DAQ system for J-PARC

J-PARC 実験に向けたDAQ DAQの要求性能 問題点 Trigger rate: 500 Hz ~ 10 kHz Channel 数 ~10 k データ量 1 MB/sec ~ 数10 MB/sec 問題点 Dead time < 数 msecにする モジュールの供給 市場に物理測定用 A/D モジュールが少ない トラディショナルなシステム(CAMAC,TKO)の相対的な高コスト化 Channel 数の増加 安価な高性能技術 System integration 多数の channel 多数、多種にわたるクレート

解決手段 (Dead Time) モジュールの構造の変更 Front-end data reduction モジュールの単位でのデータの削減 バッファ・メモリをバスの前に モジュール単位で十分なバッファを持たせる Front-end data reduction モジュールの単位でのデータの削減 エレクトロニクスの進歩により安価にフロントエンドにメモリやシーケンサ、プロセッサを搭載することが可能

Front-end of Read-out module TRIGGER Standard bus トラディショナルなシステム Processor が データを集め終わるまでが Dead time フロントエンドバッファリング 細かい単位で FIFO にデータをバッファリング Trigger の分布を一様に均すことで Dead time は ～1/10 に FIFOの後ろでは Real-time system が不要 AD module AD module AD module Processor AD module BUSY release Local bus AD FIFO AD FIFO AD FIFO Processor AD FIFO

解決手段 (モジュールの供給) モジュール開発のベースとなるプラットフォームの開発 ユーザーと共に必要なモジュールを開発 A/D CARD Power/Bus crate: KEK-VME Read-out platform: COPPER ユーザーと共に必要なモジュールを開発 開発するのはプラットフォーム上の小さな A/D の部分のみ A/D CARD POWER CRATE READOUT PLATFORM

Schematic view of a read-out module Standard components 9U Euro card VME-32 compatible PCI Module structure Front-end Buffering Pipeline read-out VME PCI Local bus Shared Memory ADC/TDC (FINESSE) FIFO On-board data reduction PrPMC (Processor) ADC/TDC (FINESSE) FIFO Signals from detectors To Central Trigger Trigger module ADC/TDC (FINESSE) FIFO Bridge PLX9054 Free Slot To Downstream DAQ System ADC/TDC (FINESSE) FIFO On-board Network interface Serial Link Network Etc… 9U Euro Card

解決手段 (System Integration) ネットワークによる分散システム ネットワーク技術の進歩により　1Gbps～10Gbps　の転送が可能 PLD, PC, Linux など一般的で良く知られた技術の導入 組み上げのコストを下げるために出来るだけ特殊なものは使わない PC を組み込んだモジュール群 Read-out platform: COPPER PC 内臓 CAMAC C.C.: CC/Net

System integration ADC+PC をユニットとしてネットワークで組み合わせる COPPER CC/NET TKO/VME/VME-PC Read-out は違うが、その他は Software 上は同じものとして扱える よく知られた馴染み深い環境の利用 PC/Linux 2.4 豊富なアプリケーション/開発環境 GCC Script 言語 A/D PC Network

Overview of DAQ configuration Network VME-bus Open interface (USB/FireWire/…) COPPER Network based Event Builder PC Network Back-end PC PC New System Network To Data server TKO VICTOR/VME-CPU SCH/SMP/VME-CPU Local Storage CAMAC CC/NET Traditional System

HD DAQ software

Software DAQ framework Read-out driver Bus を中心としたものから Network を中心としたものへ Network based Event builder Network based message exchanger Control Watch dog Read-out driver

方針 メンテナンス/トラブルーシュートが出来るシステム データ転送路/コマンド・メッセージ転送路に関して 解析部/UI に関して Core の部分に関しては良く理解されていることが重要 データ転送路/コマンド・メッセージ転送路に関して ISO/POSIX のみ利用 C/C++ 機能は出来るだけ少なく コードの行数は出来るだけ短く Platform を linux に絞らない 解析部/UI に関して 開発労力を最小に Root/Python/…. Inter Process Communication は TCP/IP (パフォーマンスが問題にならない限り) とりあえずは樹形のネットワーク構造

DAQ design Read-out module は計算機か? デバイスか? Data path Message path 限られた機能しか外に見せない 自分以外の情報を持たない 他の計算機から制御をおこなう TCP/IP を使って外から制御。Server にして Slave Watch dog フロントエンド機器の状態把握 数秒に一回 UDP で簡単に状態を吼える Data path Message path DAQ node management Run Control

Network DAQ overview Root Root Recording Program Event distribution connection DAQ node Partial Event Builder DAQ node connection Central Event Builder Event distribution buffer DAQ node Partial Event Builder Server/Client design DAQ node program : Server Partial event builder = Central event builder Client for DAQ node Server for down-stream event builder Event distribution buffer Client for event builder Server for analysis/recording programs Analysis program Data Display Root Root

Message system overview node 1 node 2 node n MD MD MD messages 1. request 2. response Message Daemon Message Manager Process data messages control MD

DAQ Software 概要 DAQ Software は以下のプロセスで構成される。 Data-path/Message-path EventBuilder, EventDistributor, Recoder, Monitor, Controller,　DAQnode, Message daemon Data-path/Message-path DAQ Software は Data-path/Message-path の TCP/IP による通信路を持ち、Data-path をつかって event data を収集し　Message-path をつかって 制御を行う Data-path Server/Client の指針 Server は常に立ち上がっている Client は RUN START 時に接続を開始し RUN STOP で接続を切断する 細かい点はマニュアルを参照してください

Summary For J-PARC experiments, new DAQ system is being developed. Small dead time Specified modules for the same platform Network based system Design and development of Hadron DAQ software Test and help by user

Source file and documents Source : ~sirotori/prototype-1.2 ~sirotori/prototype-1.2.tar.gz Documents : ~sirotori/prototype-1.2/doc userguide.pdf daqsoftware2007510.ppt

DAQ test @ LNS New DAQ system (Prototype-1.2) successfully worked. COPPER+CC-net Checking system is needed. For trouble and check the DAQ node connection and status Improvement of analyzer

Test ? Hyperball2のDAQをNetwork DAQに置き換える PC PC CAMAC CAMAC CC-net CC77 (ものすごくシンプルにしようとするとこんな感じ) Present Future CAMAC ADC TDC Interrupt CAMAC ADC TDC Interrupt CC-net CC77 専用 ケーブル Network ケーブル PC PC Hub VME Memory I/O reg VME Memory I/O reg 専用 ケーブル On-board PC NIVXI Network ケーブル 実験エリア 実験エリア