大阪大学核物理研究センター 汎用計算機システム 紹介 http://www.rcnp.osaka-u.ac.jp/Divisions/CN/computer/ibm/index.html
システム全体構成図 Internet Firewall HEPNET ODINS 核理1ネットワーク 外向けメールサーバ 外向けwwwサーバ I/Oステーション リング棟2F AVF3F 本館6F 本館6F 計算サーバー データ処理サーバー アプリケーション・サーバ群 ・・・ mail news web dns ntp ポスタープリンター(1台) 高速プリンター(3台) カラープリンター(13台) 高速モノクロプリンター(1台) プリンター用ネットワーク printer 核理1ネットワーク オンラインステーション1,2(kasuga1,2)
汎用計算機システムについて 大規模実験データを高速処理可能な サーバー(RS/6000 SP) 大容量で高速なストレージ
サーバー(RS/6000-SP)の性能 4cpu(1ノード) ・875 SPECint_rate95 ・1382 SPECfp_rate95 メモリ ・3.5 GB(データ処理サーバー) ・7.0 GB(計算サーバー)
ディスク装置 SSAによる大容量(37.59TB)のディスクシステムを構築。 8同時I/O処理と最大320MB/sの転送速度という高パフォーマンスの実現。 RAID-5による構成により1ドライブに障害が発生しても、連続稼動が可能。 (※SSA:Serial Storage Architecture)
計算サーバー/データ処理サーバー バッチ ノード インタラクティブノード 大容量ディスク装置 ・計算ノード ・データ処理ノード senri バッチノード インタラクティブノード バッチ ノード 計算ノード #3 4CPU Memory:7GB senri 4CPU Memory:7GB ログイン ・計算ノード ・データ処理ノード サブミット 計算ノード #2 4CPU Memory:7GB 計算ノード #1 4CPU Memory:7GB saho 4CPU Memory:7GB ログイン サブミット SPスイッチ データ処理ノード #8 4CPU Memory:3.5GB ログイン インタラクティブノード hozumi 4CPU Memory:3.5GB データ処理ノード #7 4CPU Memory:3.5GB データ処理ノード #6 4CPU Memory:3.5GB データ処理ノード #5 4CPU Memory:3.5GB データ処理ノード #4 4CPU Memory:3.5GB 大容量ディスク装置 データ処理ノード #3 4CPU Memory:3.5GB データ処理ノード #2 4CPU Memory:3.5GB データ処理ノード #1 4CPU Memory:3.5GB 大容量ディスク
計算ノード 4CPUが3ノードで合計12CPUあります。 大規模計算(主として理論)用のCPUです。 処理の為のバッチキューは 長時間 長時間 中時間 短時間 の3種類用意されてます。
データ処理ノード 4CPUが8ノードで合計32CPUあります。 CPUは核理1A、1B、1C各グループにそれぞれ 15,11,6に分配してます。 処理の為のバッチキューは、各核理共に 長時間 中時間 短時間 の3種類用意されてます。
バッチジョブのクラス設定
インタラクティブノード senri saho hozumi ・一般ユーザー向けのノード ・計算ノードへのバッチジョブの投入口 ・計算ノードへのバッチジョブの投入口 saho ・データ解析ユーザー向けのノード ・データ処理ノードへのバッチジョブの投入口 hozumi ・インタラクティブで大きなジョブを実行する為のノード ・このノードはsahoに入ってから利用可能
導入ソフトウエア 【導入ソフトウェア一覧】 項目 名称 機能 システムソフトウェア AIX v4.3.3 Parallel System Support Program V3.1 Performance Tool Box V2.2 General Parallel File System v1.2 Parallel Environment V2.4 IBM LoadLeveler V2.1 Tivoli Storage Manger/Tivoli Space Manager 4.2 オペレーティングシステム 並列サーバ用管理プログラム パフォーマンス管理ツール パラレルファイルシステム 並列環境(並列化ライブラリ等) ジョブコントローラ アーカイブ管理 言語 XL Fortran for AIX v7.1 C for AIX v5.0 VisualAge C++ Professional for AIX v5.0 gcc-2.95.2.0 gcc.g++-2.95.2.0 gcc.info-2.95.2.0 ANSI X3.9-1978 (Full ANSI FORTRAN 77)、 Fortran 90 (ISO/IEC 1539-1991 (E) and ANSI X3.198-1992)準拠 ANSI X3.159-1989準拠 エディタ関連 GNU Emacs-20.7(mule) ispell-3.1.20 エディタ emacs使用時のスペルチェッカー かな漢字変換 Wnn6 Egg4 数式処理 Mathematica mail,news,www関連 pine 4.05 Netscape 4.78(navigator,messanger,composer) mnews1.22.PL5 Mime対応メールユーティリティ Webブラウザ,メールリーダ,ニュースリーダ ニュースリーダ,メールリーダ セキュリティ関連 OpenSSL 0.96d OpenSSH 3.1p1 SSLプログラム SSHプログラム
【導入ソフトウェア一覧】(続き) 項目 名称 機能 ライブラリ関連 cernライブラリ IMSL F90 MP Linbrary IMSL C Library Cernの提供するライブラリ IMSL FORTRANライブラリ IMSL Cライブラリ tex関連 tex v3.14159 ptex v2.1.8 latex v9906 platex v19990809e dvips v5.78+patch v1.4 xdvi v22.15+patch v03 VFlib2-config v2.25.1 mendex v2.4f tex 日本語版(ASCII版) texマクロ ptexマクロ PSファイル変換 dviファイルビューワ 日本語を統一的に扱うためのライブラリ 索引整形ツール その他ツール等 gzip-1.2.4.1 GNU patch-2.5.4 GNU make-3.79.1.0 GNU tar-1.1.3 gnuplot-3.7 tcsh-6.09 kterm-6.2.0 Ghostscript-6.5.1 ghostview-3.5.8 tcl-7.6.0.0, tcl-8.2.3.0 tk-4.2.0.0, tk-8.2.3.0 xv-3.10a monitor v2.1.7+patch pre7 xmgr v3.1.7 xon-6.5.1 Acrobat Reader 4.05 zlib-1.1.4 jless-3.3.2 NortonAntiVirus2002 Samba2.0.10-ja-1.2 DHCP3.0 圧縮ツール GNU版patch GNU版make GNU版tar 対話的な関数描画プログラム cshの上位版 日本語対応端末 ポストスクリプトインタプリタ PostScriptビューア 言語処理ソフト tclの拡張ライブラリセット 画像ビューア システム資源監視ツール グラフの表示・編集ツール リモートクライアント PDFファイルビューア Zip圧縮用汎用ライブラリ テキストビューア ウィルス対策ソフト Unix⇔Windodwsファイルサーバ IPアドレス動的割り当てソフト
ネットワーク 対外接続 内部ネットワーク 建物間接続 情報コンセント(network socket)
ネットワーク 対外接続 Internet HEPNET ODINS Firewall 緩衝セグメント(DMZ) 内部セグメント
ファイアーウォール Firewall フィルタリング機能により許可されたトラフィックだけを通過させます。 ネットワーク構成やIPアドレスを外部のネットワークから隠します。 ネットワークの不正のチェックや障害チェックのため、ファイアウォールを通過するトラフィックをすべてログに記録することができます。
ネットワーク 内部セグメント ファイアーウォール senri saho hozumi 核理1セグメント 加速器セグメント 大塔セグメント 各種サーバー 汎用セグメント 大塔セグメント
ネットワーク 2GigaBit Ethernet 建物間接続 ネットワーク集線装置 リング棟地階 ネットワーク集線装置 リング棟2階 本館4階 ネットワーク集線装置 AVF棟3階
ネットワーク 情報コンセント ネットワーク集線装置 ハブ 情報コンセント PC等
オンラインステーション リングサイクロトロンにおけるデータ収集システムからのデータ転送を受け、データ処理サーバーへ転送する為のシステムです。 2台を設置し、1台に障害が発生しても他の1台が利用できる構成です。 大量のデータ転送を可能にする為、ギガビットイーサネットで接続されてます。 CPU:POWER3-Ⅱ 375MHz 2cpu メモリ: 437 SPECint_rate95 (2CPU) 2 GB
I/O ステーション I/Oステーションはテープ装置を中心とする リムーバブルメディアを管理するシステムです。 I/O ステーション I/Oステーションはテープ装置を中心とする リムーバブルメディアを管理するシステムです。 4台をリング棟2F、AVF棟3F、本館6階(2台)に設置してます。 I/Oステーションの利用は各ステーションに ログインする事で利用できます。
I/Oステーションと接続機器(ディスク装置はリリース準備中) DLT テープライブラリー装置 8mm テープ装置 8mm テープライブラリー装置 DLT テープ装置 DAT テープ装置 MT装置 Solaris システム CD-R装置 3.5FD装置 ディスク装置 3.5MO装置 DVD‐RAM装置
アプリケーションサーバー プリントサーバー メールサーバー wwwサーバー newsサーバー dnsサーバー ntpサーバー pppサーバー
アプリケーションサーバー プリントサーバー プリントサーバーを同時2台稼動 1台のサーバーに障害が発生した場合、クライアントより他のサーバへ切替えることで同一プリンターが使用出来る。 各々のプリントサーバー上の履歴情報を集計し、ユーザー別・機器別の情報をレポートする。 LPR対応計算機 Windows95,98 WindowsNT MacOS プリンタサーバa プリンタサーバb 出力履歴収集処理 メール通知機能 履歴集計処理 カラープリンター ×13 高速プリンター ×3 高速モノクロプリンター ×1 ポスタープリンター ×1
アプリケーションサーバー メールサーバー メールサーバーは受信専用と送信用の2台に分けて運用 メールサーバーは架空のサイト名を送信元とするようなメールの拒否など、ファイアウォールとの組み合わせでセキュリティーを確保しています。
アプリケーションサーバー wwwサーバー wwwサーバーは、公開用外向けとWebページ登録・編集等を行う内向けの2種類有ります。 【ブラウザ環境】 【ホームページ公開】 Internet Internet HEPNET ODINS HEPNET ODINS 外向けwwwサーバ(公開) www-rcnp 外向けwwwサーバ(公開) www-rcnp Firewall Firewall 汎用ネットワーク 汎用ネットワーク 内向けwwwサーバ www-in (プロキシ) 内向けwwwサーバ www-in (プロキシ) nfs login Senri www管理者 登録・編集 登録・編集 一般ユーザー ユーザー (webブラウザ) 外部のwwwサーバーへのアクセスにはプロキシの設定が必須です。 Webの公式ページはセンター内の限られたコンテンツ管理者のみが編集可能。 一般ユーザーの個人/グループのページはsenri上のページの更新で公開サーバーへ反映されます。
アプリケーションサーバー newsサーバー newsサーバーを使用できるのは内部ユーザに限られてます。 newsサーバーの推奨リーダーはmnewsです。 システムの運用情報が rcnp.announce で提供されます。
アプリケーションサーバー dnsサーバー dnsは内向け2台、外向け1台でサービスを行ってます。 内向けサーバーを2台設定する事で、1台に障害が発生しても、もう1台でサービスの提供を受けられます。 センター内からセンター内の計算機の名前は引けますが、外部のネットワークよりセンター内の名前の参照は特定のサーバー以外は出来ません。
アプリケーションサーバー ntpサーバー ntpサーバーは各計算機の時計を正確にあわせる為に時刻情報を提供する。 時刻を正確に合わせておかないと送付メイルや、作成したファイルのタイムスタンプがおかしくなり、自分だけでなく他人にも混乱を招く 現在2台のサーバーで運用をおこなってます。 ntp1.rcnp.osaka-u.ac.jp ntp2.rcnp.osaka-u.ac.jp
アプリケーションサーバー pppサーバー pppサーバーは電話回線からダイアル・インにより、senri/saho にアクセスを可能にするシステムです。 pppサーバーを利用されたい方は下記URLを確認のうえ、指示された電話番号を適宜入力し設定して下さい。(RCNP内のアカウント、パスワードが必要となります。) https://www.rcnp.osaka-u.ac.jp/Divisions/CN/computer/ibm/manual/ppp/index.html
コンサルトの紹介 計算機とネットワークの利用相談について メイルでの受付 対応時間 平日の9:00~17:00 consult@rcnp.osaka-u.ac.jp 電話での受付 内線8852 平日の10:30~12:00、13:30~15:00 面談での受付 A313(AVF3F) 平日の13:30~15:00 http://www.rcnp.osaka-u.ac.jp/Divisions/CN/consult.html