大阪大学核物理研究センター 汎用計算機システム 紹介

Presentation on theme: "大阪大学核物理研究センター 汎用計算機システム 紹介"— Presentation transcript:

1 大阪大学核物理研究センター 汎用計算機システム 紹介

2 システム全体構成図 Internet Firewall HEPNET ODINS 核理１ネットワーク 外向けメールサーバ 外向けwwwサーバ
I/Oステーション リング棟２F　　　AVF３F　　　　本館６F　　　　本館６F 計算サーバー　　　　　　　データ処理サーバー アプリケーション・サーバ群 ・・・ mail news web dns ntp ポスタープリンター(1台) 高速プリンター(3台) カラープリンター(13台) 高速モノクロプリンター(1台) プリンター用ネットワーク printer 核理１ネットワーク オンラインステーション1,2(kasuga1,2)

3 汎用計算機システムについて 大規模実験データを高速処理可能な サーバー（RS/6000　SP） 大容量で高速なストレージ

4 サーバー（RS/6000-SP)の性能 ４ｃｐｕ（１ノード） ・875 SPECint_rate95 ・1382 SPECfp_rate95
メモリ 　　・3.5 GB（データ処理サーバー） 　　・7.0 GB（計算サーバー）

5 ディスク装置 SSAによる大容量（37.59TB)のディスクシステムを構築。
８同時I/O処理と最大320MB/sの転送速度という高パフォーマンスの実現｡ RAID-５による構成により１ドライブに障害が発生しても、連続稼動が可能。 　　　（※SSA:Serial　Storage　Architecture)

6 計算サーバー／データ処理サーバー バッチ ノード インタラクティブノード 大容量ディスク装置 ・計算ノード ・データ処理ノード senri
バッチノード インタラクティブノード バッチ　ノード 計算ﾉｰﾄﾞ #3 4CPU Memory：7GB senri 4CPU Memory：7GB ログイン 　・計算ノード 　・データ処理ノード サブミット 計算ﾉｰﾄﾞ #2 4CPU Memory：7GB 計算ﾉｰﾄﾞ #1 4CPU Memory：7GB saho 4CPU Memory：7GB ログイン サブミット SPｽｲｯﾁ ﾃﾞｰﾀ処理ﾉｰﾄﾞ #8 4CPU Memory：3.5GB ログイン インタラクティブノード hozumi 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #7 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #6 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #5 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #4 4CPU Memory：3.5GB 大容量ディスク装置 ﾃﾞｰﾀ処理ﾉｰﾄﾞ #3 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #2 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #1 4CPU Memory：3.5GB 大容量ディスク

7 計算ノード ４CPUが３ノードで合計１２CPUあります。 大規模計算（主として理論）用のCPUです。 処理の為のバッチキューは 長時間
　　　　長時間 　　　　中時間 　　　　短時間 　　の３種類用意されてます。

8 データ処理ノード ４CPUが８ノードで合計３２CPUあります。
CPUは核理1A、1B、1C各グループにそれぞれ　１５，１１，６に分配してます｡ 処理の為のバッチキューは、各核理共に 　　　　長時間 　　　　中時間 　　　　短時間 　　の３種類用意されてます。

9 バッチジョブのクラス設定

10 インタラクティブノード senri saho hozumi ・一般ユーザー向けのノード ・計算ノードへのバッチジョブの投入口
　　・計算ノードへのバッチジョブの投入口 saho 　　・データ解析ユーザー向けのノード 　　・データ処理ノードへのバッチジョブの投入口 hozumi 　　・インタラクティブで大きなジョブを実行する為のノード 　　・このノードはsahoに入ってから利用可能

11 導入ソフトウエア 【導入ソフトウェア一覧】 項目 名称 機能 システムソフトウェア AIX v4.3.3
Parallel System Support Program V3.1 Performance Tool Box V2.2 General Parallel File System v1.2 Parallel Environment V2.4 IBM LoadLeveler V2.1 Tivoli Storage Manger/Tivoli Space Manager 4.2 オペレーティングシステム 並列サーバ用管理プログラム パフォーマンス管理ツール パラレルファイルシステム 並列環境(並列化ライブラリ等) ジョブコントローラ アーカイブ管理 言語 XL Fortran for AIX v7.1 C for AIX v5.0 VisualAge C++ Professional for AIX v5.0 gcc gcc.g gcc.info ANSI X (Full ANSI FORTRAN 77)、 Fortran 90 (ISO/IEC (E) and ANSI X )準拠 ANSI X 準拠 エディタ関連 GNU Emacs-20.7(mule) ispell－3.1.20 エディタ ｅmacs使用時のスペルチェッカー かな漢字変換 Wnn6 Egg4 数式処理 Mathematica mail,news,www関連 pine 4.05 Netscape 4.78(navigator,mｅssａnger,composer) mnews1.22.PL5 Mime対応メールユーティリティ Webブラウザ,メールリーダ,ニュースリーダ ニュースリーダ,メールリーダ セキュリティ関連 OpenSSL 0.96d OpenSSH 3.1p1 SSLプログラム SSHプログラム

12 【導入ソフトウェア一覧】(続き) 項目 名称 機能 ライブラリ関連 cernライブラリ IMSL F90 MP Linbrary
IMSL C Library Cernの提供するライブラリ IMSL FORTRANライブラリ IMSL Cライブラリ tex関連 tex v ptex v2.1.8 latex v9906 platex v e dvips v5.78＋patch v1.4 xdvi v22.15＋patch v03 VFlib2-config v2.25.1 mendex v2.4f ｔex 日本語版(ASCII版) ｔexマクロ ptexマクロ PSファイル変換 dviファイルビューワ 日本語を統一的に扱うためのライブラリ 索引整形ツール その他ツール等 gzip GNU patch-2.5.4 GNU make GNU tar-1.1.3 gnuplot-3.7 tcsh-6.09 kterm-6.2.0 Ghostscript-6.5.1 ghostview-3.5.8 tcl , tcl tk , tk xv-3.10a monitor v2.1.7＋patch pre7 xmgr v3.1.7 xon-6.5.1 Acrobat Reader 4.05 zlib-1.1.4 jless-3.3.2 NortonAntiVirus2002 Samba ja-1.2 DHCP3.0 圧縮ツール GNU版patch GNU版make GNU版tar 対話的な関数描画プログラム cshの上位版 日本語対応端末 ポストスクリプトインタプリタ PostScriptビューア 言語処理ソフト ｔclの拡張ライブラリセット 画像ビューア システム資源監視ツール グラフの表示･編集ツール リモートクライアント PDFファイルビューア Zip圧縮用汎用ライブラリ テキストビューア ウィルス対策ソフト Unix⇔Windodwsファイルサーバ IPアドレス動的割り当てソフト

13 ネットワーク 対外接続 内部ネットワーク 建物間接続 情報コンセント（network socket)

14 ネットワーク 対外接続 Internet HEPNET ODINS Firewall 緩衝セグメント（DMZ) 内部セグメント

15 ファイアーウォール Firewall フィルタリング機能により許可されたトラフィックだけを通過させます｡
ネットワーク構成やIPアドレスを外部のネットワークから隠します｡ ネットワークの不正のチェックや障害チェックのため、ファイアウォールを通過するトラフィックをすべてログに記録することができます｡

16 ネットワーク 内部セグメント ファイアーウォール senri saho hozumi 核理１セグメント 加速器セグメント 大塔セグメント
各種サーバー 汎用セグメント 大塔セグメント

17 ネットワーク ２GigaBit Ethernet 建物間接続 ネットワーク集線装置 リング棟地階 ネットワーク集線装置 リング棟２階
本館４階 ネットワーク集線装置 AVF棟３階

18 ネットワーク 情報コンセント ネットワーク集線装置 ハブ 情報コンセント PC等

19 オンラインステーション リングサイクロトロンにおけるデータ収集システムからのデータ転送を受け、データ処理サーバーへ転送する為のシステムです。
２台を設置し、1台に障害が発生しても他の１台が利用できる構成です｡ 大量のデータ転送を可能にする為、ギガビットイーサネットで接続されてます｡ 　CPU：POWER３-Ⅱ　375MHz　２ｃｐｕ　　　　　　　メモリ： 　　　　　437 SPECint_rate95 (２CPU) 　　　　　　　　　　　　　2 GB

20 Ｉ／Ｏ ステーション Ｉ／Ｏステーションはテープ装置を中心とする リムーバブルメディアを管理するシステムです。
Ｉ／Ｏ　ステーション Ｉ／Ｏステーションはテープ装置を中心とする リムーバブルメディアを管理するシステムです。 ４台をリング棟２Ｆ、ＡＶＦ棟３Ｆ、本館６階（2台）に設置してます。 Ｉ／Ｏステーションの利用は各ステーションに ログインする事で利用できます｡

21 Ｉ／Ｏステーションと接続機器（ディスク装置はリリース準備中）
ＤＬＴ　テープライブラリー装置 ８ｍｍ　テープ装置 ８ｍｍ　テープライブラリー装置 ＤＬＴ　テープ装置 ＤＡＴ　テープ装置 MT装置 Solaris　システム ＣＤ－Ｒ装置 3.5ＦＤ装置 ディスク装置 3.5ＭＯ装置 ＤＶＤ‐ＲＡＭ装置

22 アプリケーションサーバー プリントサーバー メールサーバー ｗｗｗサーバー ｎｅｗｓサーバー ｄｎｓサーバー ｎｔｐサーバー ｐｐｐサーバー

23 アプリケーションサーバー プリントサーバー プリントサーバーを同時２台稼動
１台のサーバーに障害が発生した場合、クライアントより他のサーバへ切替えることで同一プリンターが使用出来る｡ 各々のプリントサーバー上の履歴情報を集計し、ユーザー別・機器別の情報をレポートする｡ LPR対応計算機 Windows95,98 WindowsNT MacOS プリンタサーバａ プリンタサーバｂ 出力履歴収集処理 メール通知機能 履歴集計処理 カラープリンター 　　×１３ 高速プリンター 　　　×３ 高速モノクロプリンター 　　　×１ ポスタープリンター 　　　×１

24 アプリケーションサーバー メールサーバー メールサーバーは受信専用と送信用の２台に分けて運用
メールサーバーは架空のサイト名を送信元とするようなメールの拒否など、ファイアウォールとの組み合わせでセキュリティーを確保しています。

25 アプリケーションサーバー ｗｗｗサーバー ｗｗｗサーバーは、公開用外向けとWebページ登録・編集等を行う内向けの２種類有ります｡
【ブラウザ環境】 【ホームページ公開】 Internet Internet HEPNET ODINS HEPNET ODINS 外向けwwwサーバ(公開) www-rcnp 外向けwwwサーバ(公開) www-rcnp Firewall Firewall 汎用ネットワーク 汎用ネットワーク 内向けwwwサーバ www-in (プロキシ) 内向けwwwサーバ www-in (プロキシ) nfs login Senri wｗw管理者 登録・編集 登録・編集 一般ユーザー ユーザー (webブラウザ) 外部のｗｗｗサーバーへのアクセスにはプロキシの設定が必須です｡ Webの公式ページはセンター内の限られたコンテンツ管理者のみが編集可能。 一般ユーザーの個人/グループのページはsenri上のページの更新で公開サーバーへ反映されます｡

26 アプリケーションサーバー ｎｅｗｓサーバー ｎｅｗｓサーバーを使用できるのは内部ユーザに限られてます｡
ｎｅｗｓサーバーの推奨リーダーはmnewsです。 システムの運用情報が rcnp.announce で提供されます｡

27 アプリケーションサーバー ｄｎｓサーバー ｄｎｓは内向け２台、外向け１台でサービスを行ってます。
内向けサーバーを２台設定する事で、１台に障害が発生しても、もう１台でサービスの提供を受けられます｡ センター内からセンター内の計算機の名前は引けますが、外部のネットワークよりセンター内の名前の参照は特定のサーバー以外は出来ません。

28 アプリケーションサーバー ｎｔｐサーバー ｎｔｐサーバーは各計算機の時計を正確にあわせる為に時刻情報を提供する。
時刻を正確に合わせておかないと送付メイルや、作成したファイルのタイムスタンプがおかしくなり、自分だけでなく他人にも混乱を招く 現在２台のサーバーで運用をおこなってます。 ntp1.rcnp.osaka-u.ac.jp ntp2.rcnp.osaka-u.ac.jp

29 アプリケーションサーバー ｐｐｐサーバー ｐｐｐサーバーは電話回線からダイアル・インにより、senri/saho にアクセスを可能にするシステムです。 ｐｐｐサーバーを利用されたい方は下記URLを確認のうえ、指示された電話番号を適宜入力し設定して下さい｡（RCNP内のアカウント、パスワードが必要となります。） 　

30 コンサルトの紹介 計算機とネットワークの利用相談について
メイルでの受付 　対応時間　平日の9:00~17:00 電話での受付 　 内線８８５２　平日の10:30~12:00、13:30~15:00 面談での受付 　 Ａ３１３(AVF3F）　平日の13:30~15:00