大阪大学核物理研究センター殿 ユーザー会資料 平成13年2月14日 大阪大学核物理研究センター 日本アイ・ビー・エム株式会社 コベルコシステム株式会社

目次 １．システム全体構成図 ２．計算サーバー・データ処理サーバー 2-1. 計算サーバー・データ処理サーバー 2-2. ディスク装置 2-3. 導入ソフトウェア ３．オンラインステーション ４．Ｉ／Ｏステーション ５．ネットワークシステム 5-1.ネットワーク機器構成図 5-2.ネットワーク概念図 5-3.ファイアウォール ６．アプリケーションサーバ 6-1. プリンターシステム 6-2. メールサーバ 6-3. wwwサーバ 6-4. newsサーバ 6-5. dnsサーバ 6-6. ntpサーバ 6-7. pppサーバ ・・・ １ ・・・ ２ ・・・ ８ ・・・ ９ ・・・１０ ・・・１３

１．システム全体構成図 Internet Firewall 汎用ネットワーク HEPNET ODINS 大塔ネットワーク 核理１ネットワーク 計算サーバー (5ノード) データ処理サーバー (9ノード) HEPNET ODINS 計算ノード 3ノード データ処理ノード 8ノード アプリケーション・サーバ群 Firewall 外向けメールサーバ 外向けwwwサーバ mail news web dns ntp Senri saho hozumi ・・・ インタラクティブ・ノード 汎用ネットワーク プリンターサーバー1,2 ルータ オンラインステーション1,2 (kasuga1,2) プリンター用ネットワーク I/Oステーション (４台) ルータ ルータ 大塔ネットワーク 核理１ネットワーク 加速器ネットワーク ポスタープリンター(1台) 高速プリンター(3台) カラープリンター(13台) 1

２．計算サーバー/データ処理サーバー 2-1.計算サーバー/データ処理サーバー 【１ｃｐｕの性能】(IBM POWER3 375MHz) バッチノード インタラクティブノード 【１ｃｐｕの性能】(IBM POWER3 375MHz) 24.4 SPECint95 50.9 SPECfp95 計算ﾉｰﾄﾞ #3 4CPU Memory：7GB Senri 4CPU Memory：7GB ログイン サブミット 計算ﾉｰﾄﾞ #2 4CPU Memory：7GB 【１ノードの性能】(４cpu) 875 SPECint_rate95 1382 SPECfp_rate95 【1ノードあたりのメモリー容量】 3.5GB(データ処理サーバー) 7.0GB(計算サーバー) 計算ﾉｰﾄﾞ #1 4CPU Memory：7GB Saho 4CPU Memory：7GB ログイン サブミット SPｽｲｯﾁ ﾃﾞｰﾀ処理ﾉｰﾄﾞ #8 4CPU Memory：3.5GB ログイン Hozumi 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #7 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #6 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #5 4CPU Memory：3.5GB 【計算サーバー】(senri,saho+計算ノード(3)) 5ノード(20CPU) 4375 SPECint_rate95 6910 SPECfp_rate95 メモリー 35GB (うち2GBは一時ディスク用) ﾃﾞｰﾀ処理ﾉｰﾄﾞ #4 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #3 4CPU Memory：3.5GB 【データ処理サーバ】(hozumi+データ処理ノード(8)) 9ノード(36CPU) 7875 SPECint_rate95 12438 SPECfp_rate95 メモリー 31.5GB (うち2GBは一時ディスク用) ﾃﾞｰﾀ処理ﾉｰﾄﾞ #2 4CPU Memory：3.5GB ﾃﾞｰﾀ処理ﾉｰﾄﾞ #1 4CPU Memory：3.5GB 2

・ ４CPUのノードが８ノード、合計３２CＰＵあります。 【バッチノード】 データ処理ノード ・ ４CPUのノードが８ノード、合計３２CＰＵあります。 ・ 32個のＣＰＵは核理1A,B,C各グループにそれぞれ15個、11個、6個を分配しています。 ・ バッチキューは核理1Ａ,1Ｂ,1Ｃ各々に、長時間・中時間・短時間の3つのキューを用意します。 計算ノード ・ ４ＣＰＵが３ノード、合計１２ＣＰＵあります。 ・ 一般の大規模計算（主として理論）用のＣＰＵです。 ・ バッチキューは長時間・中時間・短時間の3つ用意します。 【バッチジョブのクラス設定】 ※バッチジョブの投入方法、キューの設定等についてはwebを参照してください。 3

【インターラクティブノード】 senri ・ 一般ユーザー向けのノードです。 ・ 計算ノードへのバッチジョブはここからサブミットします。 ・ 計算ノード上のプロセスは時間と共に優先順位を下げるように設定されています。 ・ 汎用セグメントとはギガビットイーサネットのインターフェイスで接続されています。 saho ・ データ解析を行なうユーザー向けのノードです。 ・ データ処理ノードへのバッチジョブはここからサブミットします。 ・ データ処理ノード上のプロセスは時間と共に優先順位を下げるように設定されています。 hozumi ・ インタラクティブで最大ジョブを実行するためのノードです。 ・ このノードは一旦sahoに入ってから利用可能です。 4

2-2.ディスク構成 ・ ディスク構成はRAID-５によるデータ保護によりRAIDグループ内の１つのディスクに障害が発生した場合でもデータが 保護される構成をとっています。また、ディスクへのアクセスパスも二重化されており、経路障害時の冗長性も保たれ ています。 ・ ホームディレクトリ(/home)には合計710GB割り当てています。ディスクの使用制限(quota)は１ユーザーあたり10GBで 設定してしています。 ・ ワークディレクトリ（/work)には合計710GB割り当てています。ディスクの使用制限は現在かけていません。 ・ データ処理ノードからアクセスできるディスクは、約３TBのRAIDセットが１２セットあり、各RAIDセットの配分は下記の とおりです。 【ディスク割り当て一覧】 5

2-3．導入ソフトウェア 【導入ソフトウェア一覧】 6 項目 名称 機能 システムソフトウェア AIX v4.3.3 Parallel System Support Program V3 Performance Tool Box V2 General Parallel File System v1 Parallel Environment V2 IBM LoadLeveler V2 Tivoli Storage Manger/Tivoli Space Manager オペレーティングシステム 並列サーバ用管理プログラム パフォーマンス管理ツール パラレルファイルシステム 並列環境(並列化ライブラリ等) ジョブコントローラ アーカイブ管理 言語 XL Fortran for AIX v7.1 C for AIX v5.0 VisualAge C++ Professional for AIX v5.0 gcc-2.95.2.0 gcc.g++-2.95.2.0 gcc.info-2.95.2.0 ANSI X3.9-1978 (Full ANSI FORTRAN 77)、 Fortran 90 (ISO/IEC 1539-1991 (E) and ANSI X3.198-1992)準拠 ANSI X3.159-1989準拠 エディタ関連 GNU Emacs-20.7(mule) ispell－3.1.20 エディタ ｅmacs使用時のスペルチェッカー かな漢字変換 Wnn6 egg4 数式処理 Mathematica mail,news,www関連 pine 4.05 Netscape 4.7(navigator,mｅssａnger,composer) mnews Mime対応メールユーティリティ Webブラウザ,メールリーダ,ニュースリーダ ニュースリーダ,メールリーダ セキュリティ関連 OpenSSL 0.95a OpenSSH 2.2.0p1 SSLプログラム SSHプログラム 6

【導入ソフトウェア一覧】(続き) 7 項目 名称 機能 ライブラリ関連 cernライブラリ IMSL F90 MP Linbrary IMSL C Library Cernの提供するライブラリ IMSL FORTRANライブラリ IMSL Cライブラリ tex関連 tex v3.14159 ptex v2.1.8 latex v9906 platex v19990809e dvips v5.78＋patch v1.4 xdvi v22.15＋patch v03 VFlib2-config v2.25.1 mendex v2.4f ｔex 日本語版(ASCII版) ｔexマクロ ptexマクロ PSファイル変換 dviファイルビューワ 日本語を統一的に扱うためのライブラリ 索引整形ツール その他ツール等 gzip-1.2.4.1 GNU patch-2.5.4 GNU make-3.79.1.0 GNU tar-1.1.3 gnuplot-3.7 tcsh-6.09 kterm-6.2.0 Ghostscript ghostview-3.5.8 tcl-7.6.0.0, tcl-8.2.3.0 tk-4.2.0.0, tk-8.2.3.0 xv-3.10a monitor v2.1.7＋patch pre7 xmgr v3.1.7 xon-6.5.1 Acrobat Reader 4.05 zlib-1.1.3 jless-3.3.2 圧縮ツール GNU版patch GNU版make GNU版tar 対話的な関数描画プログラム cshの上位版 日本語対応端末 ポストスクリプトインタプリタ PostScriptビューア 言語処理ソフト ｔclの拡張ライブラリセット 画像ビューア システム資源監視ツール グラフの表示･編集ツール リモートクライアント PDFファイルビューア Zip圧縮用汎用ライブラリ テキストビューア 7

３．オンラインステーション ・オンラインステーションはリングサイクロトンにおけるデータ収集システムからのデータ転送を受け、データ処理 サーバーへ転送するために設置しています。 ・kasuga1,kasuga2の２台を設置し、１台に障害が発生した場合でも他の１台で代替できる構成をとっています。 ・大量のデータ転送を可能にするため汎用ネットワークおよび核理１ネットワークとがキガビットイーサネットの インターフェイスで接続されています。 【機器仕様】 IBM RS/6000 モデル44P-270(7044-270) ・POWER3-Ⅱ 375MHz 2CPU ・437 SPECint_rate95 (2CPU) ・767 SPECfp_rate95 (2CPU) ・メモリー 2GB ・一時データ用ディスク 163.8GB(RAID-5時) ・AIX v4.3.3オペレーティングシステム 8

４．Ｉ／Ｏステーション 【Ｉ／Ｏステーション本体】 UNISYS U10 (JPU3010-SB U10) (４台) ・ UltraSPARC-Ⅱi 440MHz 1CPU ・メモリー : 128MB ・ OS : U-J Solaris2.6 【周辺機器仕様】 【利用可能な周辺機器】 部分は近日公開予定です。 9

５．ネットワークシステム 5-1．ネットワーク機器構成図 HEPNET ODINS Firewall3 10 AVF棟3F 計算機主機室 プリンター サーバ mail news www dns ntp 計算サーバー/データ処理サーバー HEPNET Senri saho hozumi ODINS Ｇbit 基幹ハブ Catalyst6506 Cisco4500M オンラインステーション (kasuga1,kasuga2) Firewall3 ルータ Ｇbit 公衆回線 ppp I/Oステーション 大塔ネットワーク ルータ プリンタ Ｇbit Ｇbit Ｇbit 本館4Fネットワーク機械室 リング付属棟2F計数室 リング実験棟地下共同溝 基幹ハブ Catalyst6506 基幹ハブ Catalyst2948G 基幹ハブ Catalyst2948G 本館各階 ハブ ハブ ハブ ハブ ハブ ハブ ハブ ハブ ハブ プリンタ ユーザー端末 プリンタ 端末 プリンタ 端末 I/Oステーション(3F,6F) I/Oステーション 10

5-2．ネットワーク概念図 Internet 汎用ネットワーク HEPNET ODINS 核理１ネットワーク 加速器ネットワーク FDDI 外部ネットワーク 計算サーバー (5ノード) データ処理サーバー (9ノード) ファイアウォール 外向けメールサーバ 外向けwwwサーバ 計算ノード 3ノード データ処理ノード 8ノード アプリケーション・サーバ群 ・・・ ssh ssh, telnet, ftp (http,https) Senri saho hozumi 汎用ネットワーク オンラインステーション１ (kasuga1) プリンターサーバー１ プリンターサーバー２ オンラインステーション2 (kasuga2) IP DECnet appletalk IP DECnet appletalk IP プリンター用ネットワーク I/Oステーション (４台) Ｇbit Ｇbit ルータ ルータ ルータ 核理１ネットワーク 加速器ネットワーク FDDI 大塔ネットワーク プリンター群 11

Internet 5-3．ファイアウォール 汎用ネットワーク ・新システムではセンター内のネットワークと外部ネットワークと の間にファイアウォールを設置して外部からのアクセスに対し セキュリティーを確保しています。 ・外部ネットワークにはセンター内の計算機のIPアドレスや名前 を公開していませんので、 特定の計算機を除き、外部から センター内の計算機にアクセスすることはできません。 ・外部からのアクセスは2つのインターラクティブノード(senri, saho) に対してsshによるloginのみに制限され、一旦ここにlogin してか らセンター内の各計算機に対してアクセスが可能です。 ・センター内から外部ネットワークへのアクセスはssh, telnet, ftpに よるアクセスが可能です。(http,httpsは暫定的に可能です) ・センター内の端末からはインターラクティブノード(senri, saho)及 びオンラインステーション、その他の計算機に対して直接アクセ スが可能です。 ・インターラクティブノードのhozumiについては、外部からもセンター 内からも一旦sahoにloginした後、利用することができます。 ・メールやwwwなどのアプリケーションでの通信は緩衝セグメント 経由等で行われるように設計されています。 Internet HEPNET ODINS (緩衝セグメント) 外向けメールサーバ 外向けwwwサーバ ファイアウォール ssh, telnet, ftp (http,https) ssh Senri saho mail web 汎用ネットワーク ユーザー端末 12

６．アプリケーションサーバ アプリケーションサーバとして、下記のサーバが利用可能です。 6-1. プリンターサーバ 6-2. メールサーバ 6-3. wwwサーバ 6-4. newsサーバ 6-5. dnsサーバ 6-6. ntpサーバ 6-7. pppサーバ 13

6-1.プリンターサーバ 【プリンターシステム構成図】 14 核物理研究センター内 プリントサービス環境 履歴集計 Windows95,98 WindowsNT WindowsNT WindowsNT WindowsNT MacOS MacOS MacOS MacOS 7,8,9 7,8,9 7,8,9 7,8,9 LPR対応計算機 EtherTalk LPR プリンタサーバａ プリンタサーバｂ プリントサービス環境 履歴集計 ･プリントサーバーを同時2台稼動 ･1台のサーバに障害が発生した場合、 クライアントより他のサーバへ切り替え (プリンター名末尾のａ,bを切り替え) 出力履歴収集処理 各々のプリントサーバー上の履歴情報を 集計し、ユーザー別・機器別の情報を 自動的にレポート 履歴集計処理 メール通知機能 AVF棟1,3F 本館3,6F 本館4F 本館1～6F リング付属棟2F リング付属棟2F リング棟地階 プリンタ自身から プリンタサーバーと メール通知 連携しメール通知 カラープリンタ×13 高速プリンタ×3 ポスタープリンタ×1 消耗品・異常通知 消耗品（トナー・インク等）が少なくなった場合及び完全に無くなった場合、プリンターに異常が発生した場合に運用担当者へメールで通知 (用紙切れの場合は除く) 14

【プリンター一覧】 カラープリンター Phaser850DP (１３台) 高速プリンター DocuPrint C1250Net (３台) 用紙サイズ : A4,A5,レター (両面印刷可) 解像度 : 1200dpi カラー : 1670万色 印刷速度 : 8ページ/分(標準モード) 高速プリンター DocuPrint C1250Net (３台) 用紙サイズ : A3～B5 (両面印刷可) 解像度 : 600dpi 印刷速度 : 50ページ/分(A4ヨコ,モノクロ) 12.5ページ/分(A4ヨコ,フルカラー) ポスタープリンター PM-9000CPS2 (１台) 用紙サイズ : A3縦～B0ノビ 解像度 : 360dpi～720dpi 印刷速度 : 約15分/1枚(A0,720dpi×360dpi) 15

Internet 6-2. メールサーバ Firewall ・メールサーバは受信専用と送信用(中継専用)の２台のサーバに 分けて運用しています。 旧システムとは受信のためのPOP等メールの設定について変更 されていますのでwebマニュアルを参照して設定をしてください。 Internet HEPNET ODINS ・メールサーバは架空のサイト名を送信元とするようなメールを 拒否したり、スパムメールの踏み台となる危険性のあるサイト からのメールを拒否するなど、ファイアウォールとの組み合わ せでセキュリティーを確保しています。 Firewall 外向けメールサーバ (mail-gate) ・メーリングリストの運用について センター内でのメーリングリストはすべてこのサーバ上で運用 されています。 個々のメーリングリストには各々にリスト管理者が割り当てら れていますので、リストへの登録等については各リスト管理者 にご相談ください。 汎用ネットワーク 送信 受信 incoming mail server (mail-in) ・POPサーバ ・メーリングリスト ・(IMAPサーバーは 準備中) outgoing mail server (mail-out) 受信 送信 ユーザー端末 senri saho 16

6-3. wwwサーバ Internet Internet Firewall Firewall ・wwwサーバは、公開用外向けwwwサーバとwebページの登録・編集等を行う内向けwwwサーバに分けて運用 しています。 【ブラウザ環境】 【ホームページ公開】 Internet Internet HEPNET ODINS HEPNET ODINS 外向けwwwサーバ(公開) www-rcnp 外向けwwwサーバ(公開) www-rcnp Firewall Firewall 汎用ネットワーク 汎用ネットワーク 内向けwwwサーバ www-in (プロキシ) 内向けwwwサーバ www-in (プロキシ) nfs login Senri wｗw管理者 登録・編集 登録・編集 一般ユーザー ユーザー (webブラウザ) ・外部のwwwサーバへアクセスする際は必ずプロキシの 設定を行ってください。 ・webの公式ページはセンター内の限られたコンテンツ管理者 のみが編集可能です。 ・一般ユーザーの個人/グループのページはsenri上のページを 更新することで公開サーバーへ反映されます。 17

6-4. newsサーバ 6-5. dns ×特定サーバのみ Firewall ・newsサーバは旧システムと同様に運用を行っています。 ・newsサーバを使用できるのは内部ユーザ(Firewall内)のみです。(PPP経由での使用も予定しています) ・推奨のリーダーはmnewsです。利用方法はwebを参照してください。 ・システムの運用情報がrcnp.announceで提供されます。 6-5. dns Internet ・dnsは内向けサーバ２台、外向けサーバ1台によるサービスを行っています。 ・内向けサーバを２台設定することで、１台に障害が発生した場合でももう1台 のサーバよりdnsのサービスを受けることが可能です。 ・センター内からはセンター内の計算機の名前は引けますが、外部のネット ワークよりセンター内の名前参照は特定のサーバ以外はできません。 HEPNET ODINS ×特定サーバのみ 外向けdns Firewall 汎用ネットワーク 内向けdns1 内向けdns2 ユーザー 18

6-6. ntpサーバ 6-7.pppサーバ ・ntpサーバーは各計算機の時計を正確に合わせるために時刻情報を提供するサーバーです。 ・現在2台のサーバ(ntp1,ntp2)で運用を行っています。 ・使用しているコンピュータの時刻が合っていることで様々なメリットがありますので設定が可能な計算機では 使用を推奨します。 6-7.pppサーバ ・pppサーバは旧システムと同様に運用を開始する予定です。 ・一般回線が3回線用意される予定です。 ・今回のシステムではどのユーザーがどのポートでログインしたのかロギング機能をもつ予定です。 19

新汎用計算機システムの使用の手引き v0.9.1, 22 December 2000 1. 本システムの使用方法 http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/tebiki.html 新汎用計算機システムの使用の手引き v0.9.1, 22 December 2000 移行に伴う必要項目 FAQ 新汎用計算機システムの使用の手引き 1. 本システムの使用方法 1.1　Login 方法 1.2　Password 変更手順 1.3　バッチジョブ投入について Japanese English 1.4　コマンドレファレンス 1.5　I/Oステーション・デバイス一覧 2. クライアントでの設定･使用方法 2.1 ssh Windows 98 MacOS PC-Unix 2.2 telnet 2.3 mnews 3. Printerの定義･使用手順 3.1 Windows 98 定義手順 使用手順 3.2 Windows NT 4.0 定義手順 3.3 MacOS 定義手順 3.4 PC-UNIX 定義手順･使用手順 3.5 インタラクティブ・ノード及びオンラインステーションからの出力手順 3.6 UNIXから印刷設定を指定して出力する手順 4. コンパイラー・マニュアル C言語 HTML PDF Fortran HTML PDF(User's Guide) PDF(Language Reference) IMSLライブラリ HTML(はじめに) PDF 5. メーリングリスト管理者マニュアル 6. FAQ HISTORY 20

FAQ v0.9.1, 22 December 2000 1. ネットワーク 2. インタラクティブ・ノード SENRI-SAHO http://www.rcnp.osaka-u.ac.jp/Divisions/CN/ibm/faq/faq.html FAQ v0.9.1, 22 December 2000 新汎用計算機システムの使用の手引き 移行に伴う必要項目 FAQ HISTORY FAQ 1. ネットワーク 2. インタラクティブ・ノード SENRI-SAHO 3. 言語関連 4. その他 21