DNASシステム上のアプリケーション起動シーケンスのための基盤であるdsh部分の性能評価

Slides:



Advertisements
Similar presentations
G ゼミ 2010/5/14 渡辺健人. パフォーマンスの測定 CUDA Visual Profiler CUDA の SDK に標準でついているパフォーマン ス測定用のツール 使い方: exe ファイルのパスと作業ディレクトリ指定して実 行するだけ 注意点 : GPU のコード実行後にプログラム終了前に,
Advertisements

専修大学情報科学センターのパソコンを 使ったグリッドコンピューティング ― SPACE計画 - 森正夫 1 、水崎高浩 1 、内藤豊昭 2 、中村友保 2 及び 専修大学情報科学センター 及び 専修大学情報科学センター 1 専修大学 法学部/自然科学研究所 1 専修大学 法学部/自然科学研究所 2 専修大学.
Cygwin 上の inetd /etc/inetd.conf /etc/inetd.conf 環境変数 CYGWIN と PATH の確認 環境変数 CYGWIN と PATH の確認 サービスへの登録と起動 サービスへの登録と起動 ftp サービスへのアクセスの確認 ftp サービスへのアクセスの確認.
MPIを用いたグラフの並列計算 情報論理工学研究室 藤本 涼一.
グローバルコンピューティング環境における遺伝的アルゴリズムの検討
第3回 並列計算機のアーキテクチャと 並列処理の実際
情報実験:ネットワークコンピューティング入門
超並列計算研究会 PCクラスタにおける ベンチマークと並列ツールの紹介 廣安 知之 三木 光範 大向 一輝 吉田 純一.
研究集会 「超大規模行列の数理的諸問題とその高速解法」 2007 年 3 月 7 日 完全パイプライン化シフト QR 法による 実対称三重対角行列の 固有値並列計算 宮田 考史  山本 有作  張 紹良   名古屋大学 大学院工学研究科 計算理工学専攻.
PCクラスタにおける2個体分散遺伝的アルゴリズムの高速化
谷村 勇輔 (同志社大学大学院) 廣安 知之 (同志社大学) 三木 光範 (同志社大学) 青井 桂子 (同志社大学大学院)
報告 (2006/9/6) 高橋 慧.
AllReduce アルゴリズムによる QR 分解の精度について
神奈川大学大学院工学研究科 電気電子情報工学専攻
キャンパスクラウドによる 実験環境の構築 情報ネットワーク特論 講義資料.
P,Q比が変更可能なScaLAPACKの コスト見積もり関数の開発
分散遺伝的アルゴリズムによる各種クラスタのベンチマーク
各種PC クラスタの性能評価 同志社大学 工学部 廣安 知之 三木 光範 谷村 勇輔.
多数の遊休PC上での 分散ゲーム木探索 導入 ゲーム木探索 ⇒遊休PCを利用して高速化 例)コンピュータ将棋における次手の計算
P2Pトラフィックの時間的な特性 2003年度卒業論文 宮田健太郎              舘 直芳.
富士通 SS研究会 2000/11/15 KEK 高エネルギー加速器研究機構 計算科学センター 八代茂夫
Telnet, rlogin などの仮想端末 ftp などのファイル転送 rpc, nfs
ネットワーク性能に合わせた 分散遺伝的アルゴリズムにおける 最適な移住についての検討
ネットワーク機器接続 2SK 情報機器工学.
同期的にアドバイスを活性化できる分散動的アスペクト指向システム
ノードの情報を動的に反映したオーバレイネットワークの構築
ネットワークとノードの情報を利用したオーバレイネットワークの最適化
帯域外リモート管理の継続を 実現可能なVMマイグレーション手法
VMマイグレーションを可能にするIDSオフロード機構
パソコンの歴史 ~1970年 1970年代 1980年代 1990年~ ▲1946 ENIAC(世界最初の計算機、1,900加算/秒, 18,000素子) ▲1947 UNIVACⅠ(最初の商用計算機) ▲1964 IBM System/360(5.1MHz, 1MB, 2億円) ▲1974 インテル8080(8.
サーバ負荷分散におけるOpenFlowを用いた省電力法
MPIによる行列積計算 情報論理工学研究室 渡邉伊織 情報論理工学研究室 渡邉伊織です。
ネットワークプログラミング 中村 修.
過負荷時の分散ソフトウェアの 性能劣化を改善する スケジューリングの提案
応用数理工学特論 第6回 計算理工学専攻 張研究室 山本有作.
分散IDSの実行環境の分離 による安全性の向上
梅澤威志 隣の芝は茶色いか 梅澤威志
IaaS型クラウドにおける インスタンス構成の動的最適化手法
リモートホストの異常を検知するための GPUとの直接通信機構
出典・・・基礎からわかるTCP/IPコンピューティング入門 村山公保著
Jh NAHI 横田 理央 (東京工業大学) Hierarchical low-rank approximation methods on distributed memory and GPUs 背景  H行列、H2行列、HSS行列などの階層的低ランク近似法はO(N2)の要素を持つ密行列をO(N)の要素を持つ行列に圧縮することができる。圧縮された行列を用いることで、行列積、LU分解、固有値計算をO(NlogN)で行うことができるため、従来密行列の解法が用いられてきた分野では階層的低ランク近似法
インターネットにおける真に プライベートなネットワークの構築
キャンパスクラウドによる 実験環境の構築 情報ネットワーク特論 講義資料.
Linux リテラシ 2006 第5回 SSH と SCP CIS RAT.
gate-toroku-system のしくみ
通信機構合わせた最適化をおこなう並列化ンパイラ
進化的計算手法の並列計算機への実装 三木 光範
グリッド向け実行環境Jojo を用いた遺伝的アルゴリズムによる蛋白質構造決定
DNSクエリーパターンを用いたOSの推定
インターネットにおける パーソナルネットワークの構築
進捗報告 金田憲二.
複数ホストにまたがって動作する仮想マシンの障害対策
目的:高速QR分解ルーチンのGPUクラスタ実装
同志社大学工学研究科 知的システムデザイン研究室 修士2年 中尾昌広
JXTA Shell (2) P2P特論 (ソフトウェア特論) 第5回 /
VMが利用可能なCPU数の変化に対応した 並列アプリケーション実行の最適化
P2P ネットワーク上で 実時間ストリーミングを実現するための 分散制御プロトコルの提案
InTriggerクラスタ環境の構築 i-explosion 支援班 クラスタ環境の概要 研究に使える「共有資源」を提供
Peer-to-Peerシステムにおける動的な木構造の生成による検索の高速化
卒業研究 JCSPを用いたプログラム開発  池部理奈.
ユビキタスコンピューティングの ための ハンドオーバー機能付きRMIの実装
MPIを用いた並列処理計算 情報論理工学研究室 金久 英之
特定ユーザーのみが利用可能な仮想プライベート・ネットワーク
BSPモデルを用いた 最小スパニング木 情報論理工学研究室 02-1-47-134 小林洋亮.
gate-toroku-system のしくみ
Dynamic Function Placement for Data-intensive Cluster Computing
TCP/IPの通信手順 (tcpdump)
ソケットの拡張によるJava用分散ミドルウエアの高信頼化
まさ 2003/06/12 卒論その後の進捗 まさ 2003/06/12.
ユーザ認証の盗聴 2002/9/10 峯 肇史 牧之内研究室「インターネット実習」Webページ
Presentation transcript:

DNASシステム上のアプリケーション起動シーケンスのための基盤であるdsh部分の性能評価 谷口 義樹 ○ 上川 純一

Introduction 近年,クラスタやグリッドなど計算機環境が大規模化 効率的に利用できるシステムおよび その上で動くアプリケーションが必要 DNAS(Distributed Network Application System)は, 大規模計算機環境において,アプリケーションを 動作させるためのミドルウェア 通信量が少ない木構造を提供

DNAS (Distributed Network Application System) アプリケーションの実行には dsh(distributed shell)が用いられる DNASの特徴 動的な木構造を持つシステム 負荷分散システム

ノード削除 あるノードをネットワークから外したい場合,       そのノードを削除し,動的に階層構造を作り直す 再接続

負荷分散 1つのノードに負荷が集中している場合,          階層構造を作り直して,集中していた負荷を分散させる

dsh (distributed shell) - DNASシステムの起動および アプリケーションの実行に用いられる - 複数のシステムに同じコマンドを 実行させる - リモートシェルのラッパー - トポロジとリモートシェルを指定 トポロジ 逐次実行,並列実行,階層実行 リモートシェル rsh,ssh

topology(逐次実行) 実行の結果の出力が,実行した順に得られる

topology(並列実行) 逐次に比べ実行が速いが,  マスターのポートを大量に使用

topology(階層的実行) 逐次に比べ実行が速く,  ポート使用も少なくてよい

remote shell rsh(remote shell) 指定したプログラムをリモートホストに起動 認証は送信元アドレスによる認証のみ 暗号化なし ssh(secure shell) rshと同様の動作 RSA暗号化によるホスト・ユーザ認証 送受信するデータ通信路は,3DES等の方法で暗号化

dsh benchmark dshの性能計測 - ノード数によって,どのトポロジを選択するのが 最も良いか グリッド環境においてDNASを利用するとき, 認証がしっかりとしたsshを使うことが望ましいが, 現在用いているrshと比較して,どの程度の 実行時間に差があるのか

dsh benchmark 実験環境(Gregor : PC Cluster) 実験(10回試行平均) 各ホストで w コマンドを実行 CPU PentiumⅢ 1GHz ×2×64 Memory 512MB×64 (Total 32GB) Network 100BASE-TX 実験(10回試行平均) 各ホストで w コマンドを実行 (w :ログインしているuser,process,idleなどを表示)

dsh option の解説 remote shell topology option rsh 並列 -rrsh -c 階層的 -rrsh -cn4 逐次 -rrsh ssh -rssh -c -rssh -cn4 -rssh

Result (rsh) 並列に実行したときが最も速い 階層的に実行の際,変動が激しい

Result (ssh) 階層的に実行したときが最も速い   sshの鍵計算が子ノードに割り振られることで,   マスターの負荷が分散

Result (sequential, parallel) sshはrshと比較して遅い sshは認証に時間がかかる

Result (hierarchical) ノード数が少ないとsshのほうが遅いが, ノード数を増やすとsshのほうが速い

Conclusion DNASの起動およびそのシステム上で動くアプリケーションの実行に用いられるdshの性能比較 rshに比べて認証などのオーバーヘッドがあるsshだが, sshで階層的実行が速いという結果が得られ,実用的には問題のない程度

補足資料

Result (hierarchical)補足資料 変動が激しいのは,階層構造において  多段にログインすることにより,リモートノードが,  他のリモートノードに命令を与える過程で,  タイミングの関係でひっかかる場所がある