Peer-to-Peerシステムにおける動的な木構造の生成による検索の高速化

Slides:



Advertisements
Similar presentations
区間グラフにおける区間表現からMPQ-treeを効率よく構成するアルゴリズム
Advertisements

Webプロキシサーバにおける 動的資源管理方式の提案と実装
はじめての DNS 村上健、古家健次(宇宙物理)、井谷優花(地球および惑星大気科学).
ファイルキャッシュを考慮したディスク監視のオフロード
最新ファイルの提供を保証する代理FTPサーバの開発
セキュリティ機構のオフロードを考慮した仮想マシンへの動的メモリ割当
Flashプレイヤーを使った動画配信 情報工学科 宮本 崇也.
DNASシステム上のアプリケーション起動シーケンスのための基盤であるdsh部分の性能評価
複数のコンピュータ(ノード)を一群にまとめて、信頼性や処理性能の向上を実現するシステム
解析サーバの現状と未来 2006/07/18 衛星データ処理勉強会 村上 弘志 現状のシステム構成など 統合解析環境としての整備
報告 (2006/9/6) 高橋 慧.
ネットワークコミュニケーション よく使われるアプリケーション DNS 7/5/07.
分散遺伝的アルゴリズムによる各種クラスタのベンチマーク
ファイルシステムキャッシュを 考慮した仮想マシン監視機構
メモリ暗号化による Android端末の盗難対策
発表の流れ 研究背景 マルチテナント型データセンタ 関連研究 IPマルチキャスト ユニキャスト変換手法 提案手法 性能評価.
P2Pトラフィックの時間的な特性 2003年度卒業論文 宮田健太郎              舘 直芳.
第7章 データベース管理システム 7.1 データベース管理システムの概要 7.2 データベースの格納方式 7.3 問合せ処理.
PlanetLab における 効率的な近隣サーバ選択法
ネストした仮想化を用いた VMの安全な帯域外リモート管理
ノードの情報を動的に反映したオーバレイネットワークの構築
ノードの情報を動的に反映したオーバレイネットワークの構築
予備親探索機能を有した アプリケーションレベルマルチキャスト
ネットワークとノードの情報を利用したオーバレイネットワークの最適化
メッシュネットワークに関する研究 ーチャネル割り当ての一手法ー
自己組織化型P2P検索システム : TellaGate 小島 一浩 独立行政法人 産業技術総合研究所
B4向け研究紹介 MTAにおけるspamメール判別方法
サーバ負荷分散におけるOpenFlowを用いた省電力法
MPIによる行列積計算 情報論理工学研究室 渡邉伊織 情報論理工学研究室 渡邉伊織です。
過負荷時のWebアプリケーションの 性能劣化を改善する Page-level Queue Scheduling
IIR輪講復習 #4 Index construction
型付きアセンブリ言語を用いた安全なカーネル拡張
IPv6 ネットワークにおける エニーキャスト通信実現のための プロトコル設計と実装
過負荷時の分散ソフトウェアの 性能劣化を改善する スケジューリングの提案
MPIによるwavからmp3圧縮の検証 情報論理工学研究室 04‐1‐47‐200 木村 惇一.
第17章 ドメインネームシステム.
修士研究計画 P2Pネットワークの最適化 kuro must: Survey ○テクニカルにチャレンジング
定兼邦彦 今井浩 東京大学理学系研究科 情報科学専攻
ユーザ毎にカスタマイズ可能な Webアプリケーションの 効率の良い実装方法
卒論進捗発表(4) 11/ 山崎孝裕.
実行時情報に基づく OSカーネルのコンフィグ最小化
仮想メモリを用いた VMマイグレーションの高速化
複数ホストに分割されたメモリを用いる仮想マシンの監視機構
仮想計算機を用いたサーバ統合に おける高速なリブートリカバリ
P2P概説 P2P概説 第2回 /
Internet広域分散協調サーチロボット の研究開発
私の立場 OSカーネルを手がけるエンジニア 大阪市立大学 創造都市研究科の学生
通信機構合わせた最適化をおこなう並列化ンパイラ
オープンソース開発支援のための ソースコード及びメールの履歴対応表示システム
半構造化テキストに対する 文字列照合アルゴリズム
JXTA Shell (1) P2P特論 (ソフトウェア特論) 第4回 /
クラウドにおけるVM内コンテナを用いた 自動障害復旧システムの開発
数独の解生成と 解に対する番号付け 理学部 情報科学科 渡辺研究室 戸神星也.
データベース設計 第7回 実用データベースの運用例 クライアント=サーバシステム(1)
片方向通信路を含む ネットワークアーキテクチャに於ける 動的な仮想リンク制御機構の設計と実装
P2P ネットワーク上で 実時間ストリーミングを実現するための 分散制御プロトコルの提案
トラフィックプロファイラAGURIの設計と実装
ISO23950による分散検索の課題と その解決案に関する検討
「マイグレーションを支援する分散集合オブジェクト」
情報ネットワーク 岡村耕二.
ユビキタスコンピューティングの ための ハンドオーバー機能付きRMIの実装
Ibaraki Univ. Dept of Electrical & Electronic Eng.
Amicus: A Group Abstraction for Mobile Group Communications
特定ユーザーのみが利用可能な仮想プライベート・ネットワーク
黒宮 佑介(学籍番号: ) 政策・メディア研究科 修士課程2年 主査:村井 純、副査:斉藤 賢爾・中村 修・江崎 浩
Dynamic Function Placement for Data-intensive Cluster Computing
慶應義塾大学 政策・メディア研究科 修士課程 2年 間 博人
JXTA総まとめ P2P特論 最終回 /
P2P & JXTA Memo For Beginners
黒宮 佑介(学籍番号: ) 政策・メディア研究科 修士課程2年 主査:村井 純、副査:斉藤 賢爾・中村 修・江崎 浩
Presentation transcript:

Peer-to-Peerシステムにおける動的な木構造の生成による検索の高速化 柿原聡@東工大情報科

Peer-To-Peer (P2P) システム 分散型の検索 特定のホストにインデックス(目的とする情報がどのホスト上にあるか)が集中していない 応用例:ファイル交換 (Napster, Gnutella, etc) Cf. 集中型の検索 Web の検索エンジン (google 等) 単一ホストが検索を集中処理

P2Pネットワークでの検索 検索時にブロードキャスト 無駄な query が多く効率が悪い 有効なQuery 無駄なQuery Query Hit 発見

P2P の利点と問題点 利点 問題点 検索用の巨大サーバーが不要 検索サーバのホスト名を知らなくてもよい 無駄な query が多く、ネットワーク帯域を浪費する 効率のよいキャッシュが困難

管理された検索ネットワーク 管理することで無駄な query を減らせる 例:階層型分散検索 管理する人間の組織が必要 DNS (Domain Name System) com jp ac ebay sun titech is

p2p-cacheの提案 階層構造の検索ネットワークを動的に作成 検索経路 新しいノード ノードが追加されるたびに検索ネットワークを自動で作り直す 人手はかからない アルゴリズムは実用上のトレードオフを考え単純なものにした バランスは無視 ランダムに加わる ディスク容量の大きい ノードが根に近くなる ようにする 検索経路 新しいノード

P2p-cache の位置付け 集中型検索 分散型検索 従来の P2P 型検索 管理なし p2p-cache 型検索 自動管理 Web 検索エンジン 分散型検索 従来の P2P 型検索 管理なし p2p-cache 型検索 自動管理 利点 動的に自動管理 階層型検索 管理あり

キャッシュの実装 さらに、検索時にその経路上のすべてのノードでキャッシュをとる Indexのあるノード Indexのキャッシュのあるノード Query Query Hit Query Query Hit Query Hit Indexのあるノード

実験 実験環境 実験内容 Pentium 3 733MHz, Memory 512MB Linux version 2.4.2-2のRedHat Linux OS で16ノードのクラスタ 実験内容 各ノードがランダムに検索を行い、その検索時間を従来型P2Pとp2p-cacheで比較

測定結果1: 検索の高速化 従来型とp2p-cacheの比較

測定結果2: メッセージ数の削減 約40%のメッセージ削減 P2p-cacheと従来型のメッセージ数        の比較

まとめ p2p-cache の提案 Future Work P2Pネットワークの欠点を改良 動的に木を作成 P2Pと階層型の両方の利点を実現 キャッシュの実装 C++で実装、約4000行 p2p-cacheでの検索速度向上、メッセージ数削減の確認 Future Work LRUなどのキャッシュのアルゴリズムの導入