自己組織化型P2P検索システム : TellaGate 小島 一浩 独立行政法人 産業技術総合研究所

Slides:



Advertisements
Similar presentations
Community Web プラットフォーム 大向 一輝(国立情報学研究所) 松尾 豊 (産業技術総合研究所) 松村 真宏(大阪大学) 武田 英明(国立情報学研究所) JSAI2005 近未来チャレンジ.
Advertisements

目次 このドキュメントについて・・・前提条件……………………………………… 2
NetAgent P2P検知技術 NetAgent.
Step.5 パケットダンプ Wiresharkでパケットをキャプチャする PC 1 PC 2 PC 3 PC 4 ネットワーク
Webプロキシサーバにおける 動的資源管理方式の提案と実装
山梨大学 伊 藤 洋 99/06/30 インターネット入門 総合科目V 山梨大学 伊 藤  洋
動画像品質調整機能を組み込んだ プロキシキャッシングシステムの 実装と評価
JANOG38 EDNS-client-subnetってどうよ? 改めRFC7871ってどうよ ー RFC7871の概要 ー
最新ファイルの提供を保証する代理FTPサーバの開発
join NASS ~つながりあうネットワーク監視システム~
第2章 ネットサービスとその仕組み(前編) [近代科学社刊]
MySQLに接続するデータベースプログラム
不特定多数の発信者を考慮した ストリーミングシステムの実現
EpWWWサーバ 北海道大学 理学院 宇宙理学専攻 M1 古田裕規.
ネットワーク構成法 スケール 第6回 11月19日.
「コンピュータと情報システム」 07章 インターネットとセキュリティ
SMSを利用した コミュニケーションシステムの開発
モバイルエージェントの応用 概要 モーバイルエージェントの応用分野 AgentSpaceシステム エージェント移動 応用:ソフトウェアの配信
インターネット メールサーバ DNSサーバ WWWサーバ ファイアウォール/プロキシサーバ クライアント.
TCPソケットプログラミング ソケットプログラミング TCP-echoのデータ通信手順
第13回 今日の目標 §4.3 情報セキュリティー 情報化社会の特徴を社会的な面から概観する 情報に関わる危険の要因を示す
研究背景 クラウドコンピューティングサービスの普及 ユーザ数の増加に伴う問題 マルチテナント方式の採用 データセンタの需要が増加
心理学情報処理法Ⅰ コンピュータネットワーク概論.
PlanetLab における 効率的な近隣サーバ選択法
Telnet, rlogin などの仮想端末 ftp などのファイル転送 rpc, nfs
ノードの情報を動的に反映したオーバレイネットワークの構築
ノードの情報を動的に反映したオーバレイネットワークの構築
予備親探索機能を有した アプリケーションレベルマルチキャスト
ネットワークとノードの情報を利用したオーバレイネットワークの最適化
情報コミュニケーション入門 総合実習(1) 基礎知識のポイント(2)
P2P型ウェブ閲覧者間コミュニケーションに関する研究
Peer to Peer(P2P)の概要と 研究の進捗
第2章 第1節 情報通信の仕組み 1 ネットワークの仕組み 2 通信プロトコル 3 認証と情報の保護
モバイルP2Pを用いた携帯電話 動画配信手法の提案 第3回
「串刺し」研究アプローチの例 e-learning e-space 動画配信 システム SOI Smart Web ストリーミング技術
IPv6アドレスによる RFIDシステム利用方式
2003年度 データベース論 安藤 友晴.
第17章 ドメインネームシステム.
Z39.50プロトコルを用いた 検索クライアントの開発
SOAP/UDDI/WSDLによるB2Bシステムの開発
SOAP/UDDI/WSDLによるB2Bシステム構築の一事例
修士研究計画 P2Pネットワークの最適化 kuro must: Survey ○テクニカルにチャレンジング
Cisco dCloud dCloud登録ルータ配下からのvWLCへのAP接続 シスコシステムズ合同会社 2016年7月.
2009年度卒業論文発表 CDNコンテンツサーバの動的負荷分散
ネットワークの基礎知識 電子制御設計製図Ⅰ   2014年5月2日 Ⅲ限目.
インターネットにおける真に プライベートなネットワークの構築
TCP/IP入門          櫻井美帆          蟻川朋未          服部力三.
私の立場 OSカーネルを手がけるエンジニア 大阪市立大学 創造都市研究科の学生
COM コンポーネント・オブジェクト・モデル.
SFC鴨池スタイル 企画・設計 環境情報学部1年 t12472ms 杉浦 学.
Webコミュニティ概念を用いた Webマイニングについての研究 A study on Web Mining Based on Web Communities 清水 洋志.
個人の動画配信のためのWebサーバ構築 06A1058 古江 和栄.
仮想ネットワークを考慮した SoftIRQ制御によるCPU割当ての手法
モバイルP2Pを用いた携帯電話 動画配信手法の提案 第2回 FM10019 種田研究室 古江和栄
利用者主導型動的ノードグルーピング機構に関する研究
Peer-to-Peerシステムにおける動的な木構造の生成による検索の高速化
tranService Next Generation
Webアプリケーションと JSPの基本 ソフトウェア特論 第4回.
ToON: TCP over Overlay Network (仮称)
Amicus: A Group Abstraction for Mobile Group Communications
Webページタイプによるクラスタ リングを用いた検索支援システム
黒宮 佑介(学籍番号: ) 政策・メディア研究科 修士課程2年 主査:村井 純、副査:斉藤 賢爾・中村 修・江崎 浩
慶應義塾大学 政策・メディア研究科 修士課程 2年 間 博人
アプリケーションゲートウェイ実験 2001.10.5 鬼塚 優.
JXTA総まとめ P2P特論 最終回 /
P2P & JXTA Memo For Beginners
インセンティブにより自律ユーザに 高品質なオーバーレイマルチキャスト木を 構築させるプロトコルの提案
ベイジアンネットワークと クラスタリング手法を用いたWeb障害検知システムの開発
P2Pによる協調学習システム 唐澤 信介   北海道工業大学 電気工学専攻.
HTTPプロトコルの詳細 M1 峯 肇史.
Presentation transcript:

自己組織化型P2P検索システム : TellaGate 小島 一浩 独立行政法人 産業技術総合研究所 背景 Community Netの提案 TellaGateの概要と詳細 今後の課題 デモ

Background 既存のP2Pに対する不満点: 1. P2Pの検索機能を強化するには? 2. ネットワーク負荷を減らしたい. 3. 回線速度を重視しすぎなのでは? 4. 匿名性を重視しすぎでは?  5. そもそもファイル交換以外の使い方はないのか? 新たな方向性の提案: 1. 回線速度ではなく,コンテンツ,人主体にすべきでは? 2. 人のつながり,コミュニティー 3. 魅力あるコンテンツ生成能力のある人は,中心へ.

Community Net TellaGate Net TellaGate Net TellaGate Net TellaScope 発見! TellaGate Net TellaGate Net TellaGate Net TellaScope エントリーへアクセス 情報共有 ・ 情報検索 ・ 情報配信 コミュニティーに参加= コミュニティーの自己組織化 問題発生!

Application Image コミュニティー構造が期待できる対象 分散論文検索 分散掲示板

Hint そもそも現実世界では? AはBと友人である BはCと友人である AはBの友人にCがいることを知っている BはCの友人にD,E,Fがいることを知っている AはBにCを紹介してもらう. AはCと友人になる 紹介の連鎖 = 「人つて」による検索 連鎖を繰り返し,その関係を維持すると コミュニティーが形成される A B C Cの友人

Proposed Method: TellaGate Protocol 1.PeerDigest => Preference 2.Pong Proxy => Exchange PeerDigest 3.QRP with Firework => Query Routing Protocol 4.Backward Learning => Update Query Routing Table 5.Community Self-Organization Algorithm

Performance a) Success rate b) Network load

TellaGateの概要 2. Query/QueryHit 転送による学習 3. Networkの再構成 1.2. が3.に影響を与える Downloadによる嗜好状態の変化 2. Query/QueryHit 転送による学習 3. Networkの再構成 1.2. が3.に影響を与える QueryHit D C QueryErr E Bは,自身が持つC,Eの内部モデルを変化 Bは,C,Eの内部モデルをAに伝える B Query A

TellaGateの構成 TellaGate Octopus module - P2P Routing TellaPeer 接続要求 TellaGate Octopus module - P2P Routing 登録・経路問合せ 生成・管理 TCP:6699 TellaPeer (QThread) SearchEngine module - Search Engine 検索 HTTP module - HTTP Server - HTTP Client PeerDigest作成 - Indexer ChaSen(形態素解析器) TCP:8080

PeerDigest … text ward hash function M-bits array Bloom filter 1 1 … Index Table Digest file guid size path+name 00 : … : ab 1c : … : e3 45000 自律分散.pdf 00 : … : ff c4 : … : 23 32150 TellaGate.ps dd : … : c1 ae : … : 21 1600 Index.html Definition of similarity

Octopus : P2P Routing Module B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port A B C D E 2nd Neighbors digest peer guid ip port Message Cache Table message guid src. query words des. 0 …

Ex. Ping-Pong and Pong Proxy : step 1 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port ExPing A B C D E 2nd Neighbors digest peer guid ip port Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D

Ex. Ping-Pong and Pong Proxy : step 2 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 da : … : 21 d.d.d.d ExPong(D) A B C D E ExPong(C) 2nd Neighbors digest peer guid ip port Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D

Ex. Ping-Pong and Pong Proxy : step 3 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 da : … : 21 d.d.d.d ExPong(E) A B C D E 2nd Neighbors digest peer guid ip port 01 : … : 35 68 : … : fa e.e.e.e 6699 Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D

Query Routing (QRPwF) : step 0 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 da : … : 21 d.d.d.d A B C D E Query network = {0, 101, 1858, 25007} 2nd Neighbors digest peer guid ip port 01 : … : 35 68 : … : fa e.e.e.e 6699 Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D

Query Routing (QRPwF) : step 1 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 da : … : 21 d.d.d.d A B C D E Query network = {0, 101, 1858, 25007} 2nd Neighbors digest peer guid ip port 01 : … : 35 68 : … : fa e.e.e.e 6699 Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D 61 : … : f9 A network

Query Routing (QRPwF) : step 2 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 da : … : 21 d.d.d.d A B C D E QueryErr network = {0, 101, 1858, 25007} 2nd Neighbors digest peer guid ip port 01 : … : 35 68 : … : fa e.e.e.e 6699 Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D 61 : … : f9 A network

Query Routing (QRPwF) : step 3 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 da : … : 21 d.d.d.d A B C D E network = {0, 101, 1858, 25007} Query 2nd Neighbors digest peer guid ip port 01 : … : 35 68 : … : fa e.e.e.e 6699 Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D 61 : … : f9 A network

Query Routing (QRPwF) : step 4 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 00 : … : 01 da : … : 21 d.d.d.d A B C D E network = {0, 101, 1858, 25007} QueryHit 2nd Neighbors digest peer guid ip port 01 : … : 35 68 : … : fa e.e.e.e 6699 Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D 61 : … : f9 A network

Query Routing (QRPwF) : step 5 B’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 3b : … : 00 00 : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 00 00 : … : 01 da : … : 21 d.d.d.d A B C D E network = {0, 101, 1858, 25007} QueryHit 2nd Neighbors digest peer guid ip port 01 : … : 35 68 : … : fa e.e.e.e 6699 Message Cache Table message guid src. query words des. 0 … 01 : ... : ab B C 2c : ... : 61 D 61 : … : f9 A network

Community Self-Organization Algorithm (CSOA) A’s Octopus : 1st Neighbors org. digest adap. digest peer guid ip port 64 : … : 00 00 : … : 01 c5 : … : 8e b.b.b.b 6699 A B C D E 2nd Neighbors digest peer guid ip port 3b : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 01 da : … : 21 d.d.d.d Message Cache Table message guid src. query words des. 0 … 61 : … : f9 A network B

CSOA : step 1 C B D E A A’s Octopus : 1st Neighbors 2nd Neighbors org. digest adap. digest peer guid ip port 64 : … : 00 00 : … : 01 c5 : … : 8e b.b.b.b 6699 A B C D E 2nd Neighbors digest peer guid ip port 3b : … : 00 c5 : … : 8e c.c.c.c 6699 ac : … : 01 da : … : 21 d.d.d.d Handshake Message Cache Table message guid src. query words des. 0 … 61 : … : f9 A network B

CSOA : step 2 C B D E A A’s Octopus : 1st Neighbors 2nd Neighbors org. digest adap. digest peer guid ip port 64 : … : 00 00 : … : 01 c5 : … : 8e b.b.b.b 6699 ac : … : 00 da : … : 21 d.d.d.d A B C D E 2nd Neighbors digest peer guid ip port 3b : … : 00 c5 : … : 8e c.c.c.c 6699 ExPing-ExPong Message Cache Table message guid src. query words des. 0 … 61 : … : f9 A network B

Small World ? Networkの特徴: 1. Diameter 2. Clustering係数(WS-model) Handshake

Conclusions and Future Works □htmlへの対応 -> Apache + Namazu + Squid + Browser? □最近は,海外でもSocial Network(出会い系)がWebサービス として流行っている -> Friendstar, Googleの新サービス Friend Rank   P2Pで,主観的Rankを計算できないか? □数理解析 ->簡単なモデルを作成 □ユーザは使えれば,P2Pでなくてもいい... ->ユーザにアピールできるのは?