DAQ-Middlewareの開発環境と 適用事例

Slides:



Advertisements
Similar presentations
RT ミドルウエア講習会 実習に参加される方へ ネットワークは外部にも接続できます。 有線・無線とも利用可能ですが、有線接続推奨です。 ホスト PC の Firewall は OFF にしておいてください。 OpenRTM のページを開いておいてください –
Advertisements

DAQ-Middleware の現状報告 千代浩司 A,F 、仲吉一男 A,F 、安芳次 A,F 、 井上栄二 A,F 、長坂康史 B,F 、味村周平 C,F 、神徳徹雄 D,F 、安藤慶昭 D,F 、和田 正樹 E 高エネルギー加速器研究機構素粒子原子核研究所 A 広島工業大学 B 大坂大学 C 産業技術総合研究所.
実習環境整備 高エネルギー加速器研究機構 素粒子原子核研究所 千代浩司. DAQ-Middleware 配布物 ソース Scientific Linux 5.9 上で作った RPM
ATLAS実験データ解析に向けた、長距離広帯域ネットワークにおけるデータ転送
高エネルギー加速器研究機構 素粒子原子核研究所 濱田 英太郎
DAQ-Middleware Core Meeting
高エネルギー加速器研究機構 物質構造研究所-中性子科学研究施設 佐藤節夫
ROBOMEC2007チュートリアル RTミドルウエア講習会
高エネルギー加速器研究機構 素粒子原子核研究所 千代浩司
高エネルギー加速器研究機構 素粒子原子核研究所 千代浩司
高エネルギー加速器研究機構 素粒子原子核研究所 千代浩司
Report of working at CERN PHOS readout test bench
Windows Azure 仮想マシン 入門.
DAQ-Middleware講習会 DAQコンポーネント開発
J-PARCでのニュートリノ実験 “T2K” (東海to神岡) 長基線ニュートリノ振動実験
COPPER/FINESSE System構築
佐藤構二、武内勇司 TA 2名 素粒子実験研究室 連絡先
J-PARC/MLFの実験データ収集システム
RTミドルウェアによるシステムの構築 現在,RTミドルウェアの利用が進んでいる ⇒機能要素のRTコンポーネント化を行うことで
KEK エレクトロニクスシステムグループでの 開発状況 KEK e-sys 庄子 正剛.
OSが乗っ取られた場合にも機能するファイルアクセス制御システム
千代浩司 高エネルギー加速器研究機構 素粒子原子核研究所
DAQ-Middlewareトレーニングコース 実習
DAQ-Middlewareトレーニングコース 実習
分散制御ロボットにおけるCANコンポーネント 三浦俊宏 水川真 (芝浦工業大学 水川研究室)
帯域外リモート管理の継続を 実現可能なVMマイグレーション手法
SAP & SQL Server テクニカルアーキテクチャ概要 マイクロソフト株式会社 SAP/Microsoft コンピテンスセンター
ガス増幅検出器読み出し用フロントエンド ASIC
DAQ-Middleware講習会 DAQコンポーネント開発
DAQ-Middleware トレーニングコース 実習
アトラス日本グループ アトラス日本グループのメンバー アトラス日本グループのアトラス建設に対する貢献 計17機関(2016年現在)
DAQ-Middleware の新機能 コンポーネント制御機能
高エネルギー加速器研究機構 素粒子原子核研究所 千代浩司
過負荷時の分散ソフトウェアの 性能劣化を改善する スケジューリングの提案
SOI技術を用いた pixel検出器の開発(1)
ATLAS実験 SOI Transistor TEG の測定
2.5MeV単色中性子に対する TGCの動作特性の研究
E16実験へのDAQ-Middlewareの応用
ATLAS実験ホールにおける TGC検出器DAQシステムの構築
GEM検出器用DAQ-Middleware
DAQ-Middlewareへの 機器制御機能の実装と性能評価
リモートホストの異常を検知するための GPUとの直接通信機構
千代浩司 高エネルギー加速器研究機構 素粒子原子核研究所
千代浩司 高エネルギー加速器研究機構 素粒子原子核研究所
実行時情報に基づく OSカーネルのコンフィグ最小化
DAQ-Middleware講習会 DAQコンポーネント開発
東京工業大学 情報理工学研究科 数理・計算科学専攻 千葉研究室 栗田 亮
DAQ-Middlewareの新機能と 実験への展開
アトラス日本グループ アトラス日本グループのメンバー アトラス日本グループのアトラス建設に対する貢献 計17機関169人(2015年現在)
ATLAS実験イベントビルダへの 品質保証機能の適用と性能評価
J-PARC E16実験におけるDAQ-Middleware を用いたDAQソフトウェアの開発
Presented by なんでも作るつたい(隊)
同志社大学工学研究科 知的システムデザイン研究室 修士2年 中尾昌広
M. Uchida, Kyoto University
ALICE work at CERN Kenta Mizoguchi, Hisayuki Torii, Yusuke Okada
福岡工業大学 情報工学部 情報工学科 種田研究室 于 聡
千代浩司 高エネルギー加速器研究機構 素粒子原子核研究所
千代浩司 高エネルギー加速器研究機構 素粒子原子核研究所
広島大学におけるHEPnet-J 利用状況
京大理 身内賢太朗 平成20年度東京大学宇宙線研究所 共同利用研究成果発表会
ガス電子増幅器を読み出しに用いた タイムプロジェクションチェンバー (GEM-TPC)の開発
KEK素核研 エレクトロニクスシステムGr. 仲吉一男
ILC衝突点ビームモニターのための 読み出し回路の開発
ガス電子増幅器を読み出しに用いた タイムプロジェクションチェンバー (GEM-TPC)の開発
千代浩司 高エネルギー加速器研究機構 素粒子原子核研究所
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
Report of working at CERN PHOS readout test bench
ソケットの拡張によるJava用分散ミドルウエアの高信頼化
千代浩司 高エネルギー加速器研究機構 素粒子原子核研究所
ネットワークを介した 計測制御システムの開発
Presentation transcript:

DAQ-Middlewareの開発環境と 適用事例 22pDL-11 DAQ-Middlewareの開発環境と 適用事例 千代浩司A,F、濱田英太郎A,F、井上栄二A,F、長坂康史B,F、味村周平C,F、神徳徹雄D,F、安藤慶昭D,F、和田正樹E 高エネルギー加速器研究機構 素粒子原子核研究所A  広島工業大学B 大阪大学C 産業技術総合研究所D (株)Bee Beans TechnologiesE Open-ItF

もくじ DAQ-Middlewareの概要 動作環境 適用事例 今後の予定 Scientific Linux 7のサポート ファイルシステムext2, ext3, ext4, xfsの比較 適用事例 今後の予定 2015-03-22 日本物理学会 (22pDL-11)

DAQ-Middlewareとは ネットワークベースのDAQソフトウェアフレームワーク ターゲット データ収集パス ランコントロール(スタート、ストップ、ポーズ、レジューム) ターゲット 中小規模実験 センサー、エレクトロニクスのテストベッド Robot Technology Middleware (RTM) の産総研での実装OpenRTM-aistをベースに使用している。 2015-03-22 日本物理学会 (22pDL-11)

XML mod_python mod_wsgi 使用するコンポーネントを指定 コンポーネント間接続情報 パラメータ User Interface PC HTTP Server XML Daq Operator Command/Status System Configuration mod_python mod_wsgi DaqOperator: DAQコンポーネントへスタートストップなどのランコントロール指示を出す PC Logger ・ Gatherer Dispatcher Monitor Detectors Read-out modules Online Monitoring 単機能なDAQコンポーネントを複数 組み合わせてデータ収集パスを作る。        DAQ-Middlewareで提供するパス(ネットワーク接続)        リードアウトモジュール - gatherer間はネットワークだったり        その他だったりする(リードアウトモジュールによる) 2015-03-22 日本物理学会 (22pDL-11) 4

+ = DAQコンポーネントと構成例 DAQ-Middlewareが提供 ユーザーが書く DAQコンポーネント構成例 InPort OutPort Service Port (command/status) Logics (for data handling) Data + = DAQ-Middlewareが提供 ユーザーが書く DAQコンポーネント構成例 Dispatcher Logger Monitor DaqOperator Gatherer オンラインモニターしながら データを保存 Logger DaqOperator Gatherer モニターなしにデータのみ保存 Monitor DaqOperator Gatherer データセーブなしでオンライン モニターする Data Command/Status 2015-03-22 日本物理学会 (22pDL-11)

DAQコンポーネント特徴のまとめ Flexibility Reusability Network-transparent InPort OutPort Service Port (command/status) Logics (for data handling) Data READOUT Network User A Repository Reusability Flexibility Reuse Development Autonomous Component model Network-transparent reusabilityの注:DAQ-Middleware配布物に入っているサンプル的DAQコンポーネントをもとに簡単な改造で実験に適したものを作ることができる。 User B 2015-03-22 日本物理学会 (22pDL-11)

動作環境 Linux バイナリパッケージがあるもの その他動作を確認したLinuxディストリビューション Scientific Linux 5.x、6.x (32bit, 64bit)、7.x (64bit) Ubuntu 12.04 LTS (32bit, 64bit)、14.04 LTS (32bit, 64bit) インストールプログラムファイルをダウンロード、実行でセットアップが完了 その他動作を確認したLinuxディストリビューション Fedora 20 Arch Linux 2015-03-22 日本物理学会 (22pDL-11)

Scientific Linux 7のサポート SL7でデフォルトファイルシステムがext4からxfsへ ext4と比べて劣化がないかwrite()にかかる時間を測定 最大スループット 120MB/s のディスクで計測 ワークロード 32kB write() + 400 us sleep の繰り返し (平均80MB/s) 4MB write() + 50 ms sleepの繰り返し (平均 80MB/s) 10GB分書いて終了 write()にかかった時間を計測 fsync()はしない ファイルシステムパラメータはデフォルトのまま Cで書いたプログラムを使用 2015-03-22 日本物理学会 (22pDL-11)

Scientific Linux 7.0 (32kB、400us sleep) ext2 ext3 ext4 xfs 2015-03-22 日本物理学会 (22pDL-11)

Scientific Linux 7.0 (4MB, 50ms sleep) ext2 ext3 ext4 xfs 2015-03-22 日本物理学会 (22pDL-11)

DAQ-Middleware側で特に対策を要することはなかった DAQ-Middlewareで提供しているバッファ数を少なくすることができる ext4と比べてxfsは特に劣化はない 遅延という面からはむしろxfsが有利 DAQ-Middleware側で特に対策を要することはなかった DAQ-Middlewareで提供しているバッファ数を少なくすることができる Logger Gatherer disk write logic 2015-03-22 日本物理学会 (22pDL-11)

DAQ-Middlewareが使われている実験、センサーテスト CANDLES (double beta decay, 神岡地下実験室) J-PARC/MLF (中性子、ミュオン) DAQ system of Depth-resolved XMCD (KEK PF) J-PARC Hadron E16 (High P) (21aCF-13) SuperNEMO 検出器テストベッド ILC CCD Vertex (KEK,東北大学) J-PARC Hadron COMET Roesti CDC (22pDL-3) ADC_SiTCP NMEM STRIPIX 印刷技術を用いた集積回路一体型ガス 2次元測定器 (21pCF-7) 液体アルゴンTPC (22pDF-9) GEM (KEK 測定器開発室) SOI (KEK 測定器開発室) 2015-03-22 日本物理学会 (22pDL-11)

今後の予定 一部DAQコンポーネントの意図しない停止後の状態を改善 機器制御機能の強化 現状はシステム全体が停止する → データ収集を続けるかどうか選択可能にする 機器制御機能の強化 Dispatcher Logger Monitor DaqOperator Gatherer Dispatcher Logger Monitor DaqOperator Gatherer 2015-03-22 日本物理学会 (22pDL-11)

サマリー DAQ-Middlewareの概要 動作環境 適用事例 今後の予定 URL: http://daqmw.kek.jp/ データパス、ランコントロールの機能を提供 データパスはDAQコンポーネントをネットワークで接続することで形成 動作環境 ext2, ext3, ext4, xfsの比較 適用事例 今後の予定 DAQコンポーネントの意図しない停止に伴うシステム状態を選択可能に 機器制御機能の強化 URL: http://daqmw.kek.jp/ 2015-03-22 日本物理学会 (22pDL-11)