スーパーコンの概要 日本物理学会（首都大学） 2007年３月２５日 大阪大学核物理研究センター 計算機室　　外川浩章.

Presentation on theme: "スーパーコンの概要 日本物理学会（首都大学） 2007年３月２５日 大阪大学核物理研究センター 計算機室　　外川浩章."— Presentation transcript:

1 スーパーコンの概要 日本物理学会（首都大学） 2007年３月２５日 大阪大学核物理研究センター 計算機室　　外川浩章

2 × スーパーコンの概要 Phase I (2007.1~) 8 nodes (CMC) = 2.0 TF
6 nodes (ILE)　　　 = 1.5 TF 計 5 TF 6 nodes (RCNP) = 1.5TF × 32GF 64, 128, 256GB Note 64GB×4nodes, 128GB×8nodes, 256GB×8nodes 128 TB (CMC suita) 64 TB (ILE) 64 TB (RCNP)

3 × スーパーコンの概要 Phase II (2008.7~) 100GF 10 nodes (CMC) = 16 TF 1024GB
In addition to phase I 100GF 1024GB × 10 nodes (CMC) = 16 TF 768 TB (CMC suita)

4 ×８ ×２ ×４ スーパーコンの構成 Phase I (200７.１~) RCNP and ILE CMC 35GF 256GB 32GF

5 ×８ ×２ ×10 ×４ スーパーコンの構成 Phase II (2008.7~) RCNP and ILE CMC 35GF 256GB

6 スーパーコンの概要 占有ノードという固定した考え方はなくす が、占有ノードは残せる メモリの速度と容量が異なるノードの混在
Phase２ではＣＰＵ速度が異なるノードも混在 システム全体としてのスループットを追及する ＣＭＣユーザーのジョブがＲＣＮＰやＩＬＥでも流れる フェアシェアによる適切な資源割当て 利用負担金は変更なし。レンタル期間を通じての平均化。

7 ×８ スーパーコンの運用 Phase I (2007.1~) （共有２／８） RCNP（ILE） 32GF 128GB 64GB
CMC占有 CMC 35GF 256GB ×８ （共有２／８）

8 ×８ ×１０ スーパーコンの運用（案） Phase II (2008.7~) （共有２／８） （共有2.5/10） RCNP（ILE）
32GF 128GB 64GB RCNP（ILE）占有 CMC占有 CMC 35GF 256GB ×８ （共有２／８） 100GF 1024GB ×１０ （共有2.5/10）

9 スーパーコンの運用 Phase I (2007.1~) RCNP site CMC site ILE site RCNP nodes
CMC nodes (2 nodes for RCNP) ILE nodes 32GF 64GB 32GF 64GB 35GF 256GB 35GF 256GB 32GF 64GB 32GF 64GB 32GF 128GB 32GF 128GB 35GF 256GB 35GF 256GB 32GF 128GB 32GF 128GB 32GF 128GB 32GF 128GB 35GF 256GB 35GF 256GB 32GF 128GB 32GF 128GB 35GF 256GB 35GF 256GB

10 ネットワーク構成 fss Gfirm fss SX8 ＦＷ SX8 SX8 miho NAS NAS st1,2 FC-SW FC-SW
Super SINET fss Gfirm fss SX8 DMZ-SC ＦＷ SX8 SX8 miho その他 Jumbo SERVER NAS NAS st1,2 FC-SW FC-SW FC-SW 96TB 64TB 200TB

11 ディスクの運用 fs at SUPER /sc/rcnp/home /sc/rcnp/work /sc/rcnp/short
/sc/rcnp/data /sc/rcnp/data5 fs at IBM /home.super /work.super /short.super /data.super /data5.super Usage home directory permanent file temporary file Size 4 TB 52 TB 42 TB 16 TB Quota 100 GB/user none Comment snapshot 3センター共用

12 ディスクの運用 SX-8, etc miho, etc Other SuperSINET Site FC nfs nfs FC rsync
NAS ST STS FC FC FC Home Work Short DataX Mirror

13 キューの運用 基本的には新しいジョブ管理システム（JM）に任せる 投入ジョブクラスは「sx-rcnp」の１つだけ ＣＭＣノードへの投入は別
ＣＰＵ数、メモリ量、経過時間を指定してジョブを投入 後はＪＭが「実行予定表」にジョブを貼り付けて「予約」する。 一度予約されると、その実行開始が遅れる事はない システム障害等の不測の事態が発生した場合は除く。 あるジョブを、他の予約を破棄して優先的に実行する機能もある。 リソースの要求のされ方により、予約表には隙間ができてしまうことがある。後から投入されたジョブがこの隙間に入る場合、そのジョブでそこを埋める。（バックフィル機能） この事で既に予約されているジョブが遅れる事はない事に注意。 使用実績を反映してジョブの優先度を決定する。（フェアシェア機能）

14 キューの運用 RCNP sx-rcnp@rcnp R4D@rcnp CMC SXF@cmc SXL@cmc DBG@cmc LSP@cmc
qsubして１分待つ。

15 予約状況の表示 ＣＭＣノード ＲＣＮＰノード

16 CPUの割当て sx803 64 GB sx810 128 GB sx811 128 GB 会話型 会話型 batch batch
DEBUG 会話型 sx803 64 GB batch batch batch batch batch batch batch batch sx810 会話型 128 GB batch batch batch batch batch batch batch batch sx811 128 GB

17 ログインサーバーとフロントエンド login.hpc.cmc.osaka-u.ac.jp
login.rcnp.osaka-u.ac.jp fronta frontb frontc frontd miho sx-8 会話型 sx803 会話型 sx810 会話型

18 ファイル転送サーバー ftp.hpc.cmc.osaka-u.ac.jp ftp1.rcnp.osaka-u.ac.jp
home work short data data5 home IBM

19 パスワードの変更について ＣＭＣの方針で、ＮＩＳ系のコマンドは使用禁止にする。 ｕｎｉｘのコマンドでパスワードを変更する事はできない。
ｗｗｗインターフェイスが用意される。（４月２日～）

20 大規模デバッグジョブの募集について ＣＭＣのＤＤＲ２の４ノードを数時間予約してデバッグをしてもらう
運用開始直後でユーザーも使い方に悩んでいる 小規模なデバッグでは問題を発見、修正できない場合がある 数人で行なってもらう ユーザー当たりの同時実行数は１とする 経過時間は３０分。（大きくして欲しいという声はある） 管理者と常に連絡が取れる状態で行なってもらう