最新ファイルの提供を保証する代理FTPサーバの開発

Slides:



Advertisements
Similar presentations
1 安全性の高いセッション管理方 式 の Servlet への導入 東京工業大学 理学部 千葉研究室所属 99-2270-6 松沼 正浩.
Advertisements

Curlの特徴.
RTPatch® 差分パッチ・ソフトウェア.
Webプロキシサーバにおける 動的資源管理方式の提案と実装
動画像品質調整機能を組み込んだ プロキシキャッシングシステムの 実装と評価
ファイルキャッシュを考慮したディスク監視のオフロード
第一回 プロキシサーバーを駆使したセキュリティシステムの構築
NORWAY ENGLAND AMERICA FRANCE
パネル型クエリ生成インタフェース画像検索システムの改良
クラスタ分析手法を用いた新しい 侵入検知システムの構築
Novell Linuxブリッジ・キャンペーン 期間:2004年11月25日~2005年1月末日迄
Flashプレイヤーを使った動画配信 情報工学科 宮本 崇也.
クラウドにおける ネストした仮想化を用いた 安全な帯域外リモート管理
IaaS 仮想マシン(VM)をネットワーク経由で提供 負荷に応じてVM数や性能を変更できる ハードウェアの導入・管理・維持コストの削減
「絵葉書を通じてのハルビンの 街の印象調査」システムUIの iPadアプリ化 谷研究室  飯 祐貴.
解析サーバの現状と未来 2006/07/18 衛星データ処理勉強会 村上 弘志 現状のシステム構成など 統合解析環境としての整備
神奈川大学大学院工学研究科 電気電子情報工学専攻
Webサイト運営 09fi118 橋倉伶奈 09fi131 本間昂 09fi137 三上早紀.
ファイルシステムキャッシュを 考慮した仮想マシン監視機構
OSが乗っ取られた場合にも機能するファイルアクセス制御システム
小型デバイスからのデータアクセス 情報処理系論 第5回.
ユビキタス環境における コミュニケーション・ツール選択支援機構の提案
PlanetLab における 効率的な近隣サーバ選択法
ネストした仮想化を用いた VMの安全な帯域外リモート管理
(B2) 親: minami, kazuki 多様な認証機器に対応する 認証システム (B2) 親: minami, kazuki.
演算/メモリ性能バランスを考慮した マルチコア向けオンチップメモリ貸与法
iStorage NSシリーズ ウィルスチェック運用の手引き
B4向け研究紹介 MTAにおけるspamメール判別方法
サスペンドした仮想マシンの オフラインアップデート
第2章 第1節 情報通信の仕組み 1 ネットワークの仕組み 2 通信プロトコル 3 認証と情報の保護
Java ソフトウェア部品検索システム SPARS-J のための リポジトリ自動更新機能の実現
IPv6アドレスによる RFIDシステム利用方式
通信トラヒックの相関構造を利用した通信品質の劣化検出
サーバ負荷分散におけるOpenFlowを用いた省電力法
MPIによる行列積計算 情報論理工学研究室 渡邉伊織 情報論理工学研究室 渡邉伊織です。
Occam言語による マルチプリエンプティブシステムの 実装と検証
型付きアセンブリ言語を用いた安全なカーネル拡張
IPv6 ネットワークにおける エニーキャスト通信実現のための プロトコル設計と実装
過負荷時の分散ソフトウェアの 性能劣化を改善する スケジューリングの提案
第17章 ドメインネームシステム.
定兼邦彦 今井浩 東京大学理学系研究科 情報科学専攻
他のプロセスに あたえる影響が少ない 実行時ミラーリングシステム
2009年度卒業論文発表 CDNコンテンツサーバの動的負荷分散
IaaS型クラウドにおける インスタンス構成の動的最適化手法
実行時情報に基づく OSカーネルのコンフィグ最小化
Internet広域分散協調サーチロボット の研究開発
通信機構合わせた最適化をおこなう並列化ンパイラ
東京工業大学 情報理工学研究科 数理・計算科学専攻 千葉研究室 栗田 亮
Webコミュニティ概念を用いた Webマイニングについての研究 A study on Web Mining Based on Web Communities 清水 洋志.
クラウドにおけるVM内コンテナを用いた 自動障害復旧システムの開発
データベース設計 第7回 実用データベースの運用例 クライアント=サーバシステム(1)
Intel SGXを用いた仮想マシンの 安全な監視機構
片方向通信路を含む ネットワークアーキテクチャに於ける 動的な仮想リンク制御機構の設計と実装
Virtualizing a Multiprocessor Machine on a Network of Computers
仮想環境を用いた 侵入検知システムの安全な構成法
Peer-to-Peerシステムにおける動的な木構造の生成による検索の高速化
仮想マシンと物理マシンを一元管理するための仮想AMT
仮想マシンに対する 高いサービス可用性を実現する パケットフィルタリング
「マイグレーションを支援する分散集合オブジェクト」
アドホックルーティングにおける 省電力フラッディング手法の提案
ユビキタスコンピューティングの ための ハンドオーバー機能付きRMIの実装
MPIを用いた並列処理計算 情報論理工学研究室 金久 英之
強制パススルー機構を用いた VMの安全な帯域外リモート管理
異種セグメント端末による 分散型仮想LAN構築機構の設計と実装
IPmigrate:複数ホストに分割されたVMの マイグレーション手法
特定ユーザーのみが利用可能な仮想プライベート・ネットワーク
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
強制パススルー機構を用いた VMの安全な帯域外リモート管理
VPNクライアント接続 サーバー保守のための安全な経路+作業者単位のアクセス制御 簡単な図 (網羅性より象徴性)
Presentation transcript:

最新ファイルの提供を保証する代理FTPサーバの開発 情報ネットワーク講座 0062017 尾藤 正人

はじめに 研究背景 関連研究 代理FTPサーバの提案 評価および考察 既知の問題点 まとめ

FTPサーバの利用形態 FTP 匿名FTPサーバによるファイルの配布が一般的 ミラーサーバの利用 インターネット上でファイルのやりとりを行うためのプロトコル(RFC 959) 匿名FTPサーバによるファイルの配布が一般的 ミラーサーバの利用 マスターサーバと同一ファイルを提供

ミラーサーバ利用に関する問題点1 ミラーサーバの選択時に が不明 どのようなミラーサーバがあるのか 何をミラーしているのか ネットワーク的に近いのはどれか ミラーサーバの更新が遅れていないか が不明

ミラーサーバ利用に関する問題点2 ミラーサーバ選択のために多くの情報が必要 ミラーサーバの選択が困難 マスターサーバに負荷が集中

CVSupサーバの利用統計(2002/2/8) 128.0 マスター サーバ 20.0 20.0 ミラー サーバ

研究背景のまとめ ミラーサーバを利用するためには、 多くの情報と複雑な手順が必要 ミラーサーバが有効活用されていない ミラーサーバを自動選択し、最新ファイルを取得する技術が必要

本研究の目的 ミラーサーバの選択を自動的に行い、ユーザ側の手間を軽減 取得ファイルの最新性を保証 互換性を維持

ミラーサーバ自動選択の 実装モデル サーバ ディレクトリ ファイル DNS クライアント 中継サーバ FTP Mirror Tracker 細かいファイルの不整合に対応できない 選択単位 サーバ ディレクトリ ファイル DNS Tenbin DNS Balance DNS Trick クライアント GetRight Smart Client apt 中継サーバ FTP Mirror Tracker 代理FTP 実装場所 専用クライアントが必要 ディレクトリ単位の選択

代理FTPサーバの特徴 中継サーバにおける実装 従来のクライアントでアクセス可能 更新状況などは全てサーバ側で把握 ファイル単位でのミラーサーバの選択 キャッシング機能

代理FTPサーバの動作の概要 ミラーサーバ優先度 マッピングツリー データ キャッシュ ベース インター ネット 更新 代理FTP サーバ file1 file3 file4 インター ネット 更新 代理FTP サーバ file1 file2 file4 file1 file2 file3 file4 組織内ネットワーク

開発環境 マシン: Sun Ultra 10 OS: Linux 2.2.20 ライブラリ: glibc 2.1.3 コンパイラ: gcc 2.95.3

代理FTPサーバの実装体系 モニタリング プロセス 接続管理 プロセス 生成 更新 接続 更新情報 の取得 情報の取得 クライアント 対応プロセス データベース キャッシング クライアント FTPサーバ群

実ネットワーク上での測定 インターネット 広島市立大学 代理FTP サーバ FTPサーバ ring.atr.co.jp

測定方法 計15MBの10個のファイルを取得する 1時間毎に24時間行い、各測定において10回繰り返す 測定した10回の平均をとる

測定結果

既知の問題点 耐故障性の低下 (複数台の導入により回避可能) モニタリングによるネットワークトラフィックの増加 (適切な更新頻度の見きわめが必要) ファイル取得要求の誘導方法 ミラーサーバを直接指定された場合は、代理FTPサーバの機能を利用することができない

まとめ 代理FTPサーバを提案 今後の課題 最新のファイルを近くのサーバから取得可能 ファイル単位のミラー不整合に対処可能 従来のクライアントでアクセス可能 実用上十分な速度が出ている 今後の課題 モニタリング頻度の最適性 性能改善

マスターサーバとミラーサーバのディレクトリツリー

マスターサーバとミラーサーバの関係 マスターサーバ 1次ミラーサーバ 2次ミラーサーバ インターネット

ミラーリングポリシー 次のようなファイルはミラーしない場合がある ミラーに関するポリシーを本研究ではミラーリングポリシーと呼ぶ 先頭に“.”のつくファイル ファイルの最後に“~”のつくファイル ミラーに関するポリシーを本研究ではミラーリングポリシーと呼ぶ

更新状況調査の方法 Vine Linuxのディレクトリツリーを調査 無作為に抽出した11台のサーバからファイル一覧を取得し、比較 比較した結果を以下の4つに分類 同期 実用上の同期(ミラーリングポリシーによる非同期) 非同期 ミラーなし

更新状況調査の結果 2.1 1 8 2 2.1.5 7 3 VineSeed ディレクトリ 完全同期 実用上の同期 非同期 ミラーなし 2.1.5 7 3 VineSeed 2.1, 2.1.5は安定版リリースであり、1年以上更新されていない VineSeedは開発版であり、ほぼ毎日更新される

モニタリングにかかるトラフィック 総容量(GB) ファイルリスト(MB) 割合(%) RingServer全体 309 109 0.0345 Vine Linux 23.1 4.32 0.0182 ファイルリストの出力はかなり小さい モニタリング範囲を限定することでトラフィックを減少させることができる ミラーリング時には必ずファイルリストのトラフィックが発生する

モニタリング間隔についての考察 ミラーサーバのミラーリングは、1日数回程度 最新性を保証するには、1時間に1回程度のモニタリングが必要 ネットワークトラフィックを減らしたい場合は1日1回程度のモニタリングでよい

サーバ自動選択の実装モデル サーバ ディレクトリ ファイル DNS クライアント 更新の遅いサーバにアクセスする可能性がある ミラーサーバが同一ディレクトリ構造でなければならない 選択単位 サーバ ディレクトリ ファイル DNS Tenbin DNS Balance DNS Trick クライアント GetRight Smart Client apt FTP Mirror Tracker 代理FTPサーバ 実装場所 サーバ単位の選択しかできない 専用クライアント 更新状況の一元管理ができない