広島大学における HEPnet-J利用状況 広島大学理学研究科 技術補佐員 中宮 義英 2013/12/19 HEPnet-J利用者会議@奈良女子大学
HEPnet-J利用者会議@奈良女子大学 報告概要 計算機センター@広島大学 計算機センターの現状報告 Hiroshima T2 center for ALICE GRID Local CPU cluster for local activities まとめ 2013/12/19 HEPnet-J利用者会議@奈良女子大学
HEPnet-J利用者会議@奈良女子大学 計算機センター@広島大学 並列計算資源 (総計 1164 Xeon-cores) Xeon5355(4cores@2.6GHz) x 2cpu x 32boxes Xeon5660(6cores@2.8GHz) x 2cpu x 42blades Xeon5570(4cores@2.9GHz) x 2cpu x 26blades Xeon5365(4cores@3.0GHz) x 2cpu x 20blades Xeon5670(6cores@2.9GHz) x 2cpu x 3blades ストレージ容量 408TB on 6 servers ネットワーク 1Gbps on 40Gbps-SINET4 10Gbps for internal connection 2013/12/19 HEPnet-J利用者会議@奈良女子大学
HEPnet-J利用者会議@奈良女子大学 計算機システム構成図@広島大学 Secure/Robust subnets 10Gbps local connection (part.) Space/Energy saving 40Gbps Hiroshima DC DMZ Xeon X5570 @2.9G 10Gbps Local CPU cluster 300 Xeon cores w/ 1GB/core 80+70 TB storage w/ Raid6+Raid5 1Gbps FW Xeon X5660 @2.8G Xeon X5660 @2.8G Fortigate-200B 10Gbps L3 Xeon X5660 @2.8G Xeon X5660 @2.8G Equal Logic PS6510E 2T SATA x 48 w/RAID6 TRUSTED GRID WN ALICE-T2 (GRID) 864 Xeon cores w/ 2GB/core 160+80 TB storage w/ Raid6 Nexus 5596/2248 siteBDII/APEL VOBOX CREAM-CE 広島大学計算機システムの構成 ALICE T2 center (for ALICE GRID) Local CPU cluster (for local activities) Xrootd Xeon X5660 @2.8G Xeon X5355 @2.7G Xrootd-client DPM/NFS Xeon X5660@2.8G Xeon X5460@3.2G JCS RVAX-4U 1TB SATA x 144 w/RAID6 2013/12/19 HEPnet-J利用者会議@奈良女子大学
Hiroshima T2 Center for ALICE GRID GRID worker nodes GRID servers siteBDII/APEL VOBOX Xeon X5660 @2.8GHz Xeon X5560/X5570 @2.9GHz (608 Xeon-cores) Xeon X5355 @2.7GHz (256 Xeon-cores) CREAM-CE DPM/NFS ⇒総計:864 cores Xrootd-client Xrootd JCS RVAX-4U 1TB SATA x 144 w/RAID6 (240 TB ) Xeon X5660@2.8GHz 2013/12/19 HEPnet-J利用者会議@奈良女子大学
Hiroshima T2 center in ALICE computing model tape file cat. ESD AOD MC DAQ T2 ESD AOD DAQ T1 DAQ disk buffer full/partial export ESD MC DAQ T2 ESD AOD DAQ T1 quick analysis DAQ CPU CAF MC production/ organized/user analyses ESD DAQ T0 AOD MC DAQ T2 1st pass/pilot reconstruction reconstruction/ organized analyses Hiroshima T2 site ALICE VO 1 T0 (CERN) 7 T1 (France, Germany, Italy, Netherland, Nordic, UK) 73 T2 over 4 continents T#: Tier-# CAF: CERN Analysis Facility ESD: Event Summary data AOD: Analysis Object Data MC: Monte Carlo Data Korea, 2013/12/19 HEPnet-J利用者会議@奈良女子大学
Status for Hiroshima T2 center システムの移行(4月) EGEE/gLite3.2→UMD/EMI-2 SLC5→SL6 4月にGRID worker nodesのシステムを (1)EGEE/gLite3.2→UMD/EMI-2 (2)SLC5→SL6に移行 移行後は順調稼働 2013/12/19 HEPnet-J利用者会議@奈良女子大学
Contribution to ALICE production 2013/12/19 HEPnet-J利用者会議@奈良女子大学
HEPnet-J利用者会議@奈良女子大学 Local CPU cluster Servers Worker nodes Xeon X5365@3.0GHz Xeon X5570 @2.9GHz LHC-ALICE/RHIC-PHENIX実験の解析環境整備 バッチジョブ管理(condor) NFSサービス(150 TB) 最大で424ジョブの並列処理が可能 主なユーザーグループ 広島大・筑波大・東大CNS 用途 シミュレーション 検出器応答の計算 測定可否の評価 物理トピックの開拓 実データ解析コード開発 2013/12/19 HEPnet-J利用者会議@奈良女子大学
研究活動例 with local CPU cluster p0(2g崩壊)再構成効率(by 湯浅友裕) pT (GeV/c) 𝜀 𝑟𝑒𝑐 電子対測定可能性@鉛+鉛 5.5 TeV(by 中宮義英) Mee (GeV/c2) f w 赤点:全成分の合計 青線:組み合わせ背景事象 衝突係数 (fm) B×1013 (T) 原子核衝突による磁場生成(by 谷崎麗未) Local CPU clusterは シミュレーションがメイン。 2013/12/19 HEPnet-J利用者会議@奈良女子大学
HEPnet-J利用者会議@奈良女子大学 まとめ Hiroshima T2 center for ALICE 2013年4月にGRID worker nodeのシステムを EGEE/gLite3.2→UMD/EMI-2 SLC5→SL6 へ移行 移行後は安定稼動。常時、~750 job(1086 max)が 処理されている Local CPU cluster 広島大・筑波大・東大CNSの原子核実験グループ が使用 検出器応答の計算・測定可否の評価・物理トピックの開拓 など多岐に渡るシミュレーションを継続中 今後 次代SINETに向けて10Gbpsの ネットワーク増強を計画 10 Gbps 40 Gbps 1Gbps⇒10 Gbps ローカルネットワーク 2013/12/19 HEPnet-J利用者会議@奈良女子大学