都市情報学専攻 情報基盤研究分野  M04UC513  藤田昭人

Slides:



Advertisements
Similar presentations
情報の交換・共有・蓄積を目的とした GIS リモートコミュニケーションシステム の実装 Sho Otake Graduate Department of Computer and Information Systems The University of Aizu 1 Hirohide Demura,
Advertisements

この部分こそが必 要とされている ! Runtime 自身と Expression が カバーする!
Windows Azure ハンズオン トレーニング Windows Azure Web サイト入門.
BBT 大学 Ruby on Rails 開発環境セットアップマニュアル Mac 版 1.1 最終更新日: 2013/1/5.
■ディレクトリエントリキャッシュ linuxではdentryという構造体に、ファイルパス名の情報を格納しメモリ上にキャッシングしている。
揮発性情報 2003/05/25 伊原 秀明(Port139).
パーソナル・アーカイブのための 自律分散型データ共有システムの設計
Report of working at CERN PHOS readout test bench
実習用サーバの利用開始手順 (Windowsの場合) TeraTerm Proをインストール 公開鍵をメールで送付
Windows Azure 仮想マシン 入門.
IDLTM/IONTMを使用した UDON (Universe via Darts ON-line) プロトタイプの作成
片岡広太郎 Modem Watch Dog 片岡広太郎
HLab meeting 7/24/07 K. Shirotori.
Xvfatに関しての議論
COPPER/FINESSE System構築
データベース工学 データベースとは データモデル 関係データベースとSQL 物理データベース編成とインデクス
Hot Pepper for iPod touch
Digital Network And Communication
2009年 3月 17日 法政大学 常盤祐司、児玉靖司、八名和夫、Ivan Ho、Billy Pham
解析サーバの現状と未来 2006/07/18 衛星データ処理勉強会 村上 弘志 現状のシステム構成など 統合解析環境としての整備
報告 (2006/9/6) 高橋 慧.
ネットワーク構成法 スケール 第6回 11月19日.
NTFS 2004/05/24 伊原 秀明(Port139).
IHE-J テクニカルコーディネーター 渡辺 昌彦
グリッド技術を利用した大規模計算機システムの構築
最新情報技術を活用した超大規模 天文データ解析機構の研究開発
研究基盤総合センター 応用加速器部門 木村博美
RDBMSについて 2年7組  小鹿 慎太郎.
Footprints.
Cloudera Apache Hadoopトレーニング 番外編
視覚的な分散アプリケーション 構築ツールuBlockの開発
PlanetLab における 効率的な近隣サーバ選択法
Telnet, rlogin などの仮想端末 ftp などのファイル転送 rpc, nfs
SAP & SQL Server テクニカルアーキテクチャ概要 マイクロソフト株式会社 SAP/Microsoft コンピテンスセンター
インターネット技術特論 B:コマンドライン, shell 山口 実靖
Windows Phone 7.5 の データ アクセスとクラウド連携
「串刺し」研究アプローチの例 e-learning e-space 動画配信 システム SOI Smart Web ストリーミング技術
京都大学大学院医学研究科 画像応用治療学・放射線腫瘍学 石原 佳知
A Brain-Friendly Guide
e-サイエンス推進のための 広域分散ファイルシステムの 適用と評価
Integration between GitLab and Fuego
九州大学キャンパスクラウド 利用法 情報ネットワーク特論 講義資料.
Lazy Release Consistency
第17章 ドメインネームシステム.
マルチメディア・コンテンツの 配送・フィルタリング機構
わんくま同盟・techbank.jp 夏椰 Insight Technology, Inc. 今川 美保
朝日大学大学院 経営学研究科 奥山 徹 データベース論 朝日大学大学院 経営学研究科 奥山 徹 2006/05/22 データベース論(6回目)
Cisco dCloud dCloud登録ルータ配下からのvWLCへのAP接続 シスコシステムズ合同会社 2016年7月.
「計算科学による素粒子・原子核・宇宙の融合」
2009年度卒業論文発表 CDNコンテンツサーバの動的負荷分散
Present Status of Metbroker
UDPマルチキャストチャット    空川幸司.
DS4000 EXP700 ESM ファームウエア更新手順 (ファームウエアレベル 9326)
<前提条件> iSeriesSite ワークフロー 実行環境 構成イメージ
宇宙科学統合解析環境の構築とAstro-E2解析支援
データベース設計 第7回 実用データベースの運用例 クライアント=サーバシステム(1)
基礎プログラミング演習 第12回.
Linux の世界に 触れてみよう! 情報実験 第 3 回 (2005/10/21)
広島大学におけるHEPnet-J 利用状況
iSeries Site 人事・給与C/S版のハードウェア・ソフトウェア要件
OSの再インストールや、バックアップからのリストア
Travel Agency Application
System.AddInを利用したアプリケーション拡張 - アドインの開発 -
KEK素核研 エレクトロニクスシステムGr. 仲吉一男
B2 須山哲 (susan) 所属:Stream
Travel Agency Application
Dynamic Function Placement for Data-intensive Cluster Computing
L4-Linux のメモリ管理における問題点とその解決策
Report of working at CERN PHOS readout test bench
System.AddInを利用したアプリケーション拡張 - アドインの開発 -
Presentation transcript:

都市情報学専攻 情報基盤研究分野  M04UC513  藤田昭人

PA PA P2P Overlay Network PA PA PA PA PA Personal Archive System

Bitstream Storage Manager Statistics Tools Web UI OAI-PMH Data Provider Simple Importer/ Exporter Media Filter METS Exporter Application Layer DSpace Public API Core Tools (Configuration, Logging) Search (Lucene Wrapper) History Recorder E-person/ Group Manager Browse Tools Content Management Administration Toolkit Business Logic Layer Handle Server Storage Plug-in Handle Manager Submission Workflow Manager Authorisation Storage API RDBMS Wrapper Bitstream Storage Manager JDBC Storage Layer File System SRB (Storage Resource Broker) PostgreSQL Oracle

SFS Read-only File System sfsrosd Replica Database Private key User Program sfsrocd sfsrosd sfsrodb NFS 3 Replica Database System Call Signed Database File System Kernel NFS Client sfsrosd Replica Database

Cooperative File System (CFS) ファイル参照系 DHash User Program chordcd DHash Chord Chord System Call NFS 3 Kernel NFS Client Chord Ring DHash Private key Chord CFS sfsrodb DHash Chord File System DHash ファイル登録系 Chord

Ivy: Read/Write P2P Filesystem DHash User Program Ivy Server (cfsrwcd) DHash Chord Chord Ivy agent Private key System Call NFS 3 Chord Ring Kernel NFS Client DHash Chord DHash Chord DHash Chord

P2P Overlay Network PC PC PC PC PC PC Web Archival Browser System P2P Web Server Web Browser Server-Side Script Language Archival System Filesystem DBMS P2P Data Sharing System Chord/DHash

B1 B2 D F H(B1) H(D) H(F) H(B2) data block directory block inode block root-block public key Signature data block H(B2) B2

log-head view block log-head log records

D E F B1 B2 directory inode directory inode block H(E) name n i-number γ snapshot block meta-data i-number α H(D) file map i-number γ H(F) file inode data block F B1 H(B1) H(B2) data block B2

M M AGUID VGUID VGUID , , i i+1 d d d d d d d d d root block backpointer M M copy on write indirect blocks copy on write , , data blocks d d d d d d d d 1 2 3 4 5 6 7 6 d 7

SQLiteのアーキテクチュア Core Backend Interface Tokenizer SQL Command Processor Parser Virtual Machine Code Generator Backend B-Tree Pager Utilities OS Interface Test Code

SQLiteによるP2Pデータベース SQLiteはデータベース・ファイルを1KBページで管理 各ページごとコンテント・ハッシュ化して複数ノードに分散配置 マスターデータベースのノードはページリストを管理 Consistent-Hashed Master Database Content-Hashed Page Master Database PC PC Content-Hashed Page P2P Overlay Network Local Database PC PC Local Database Content-Hashed Page Content-Hashed Page PC PC

Page 0 Page 1 Page 2 Page N H(Page0) H(Page1) H(Page2) H(PageN) Page List (Consistent-Hash) Page Block (Content-Hash) H(Page0) Page 0 Master Database H(Page1) H(Page2) Page 1 H(PageN) Page 2 Page N

マスターからローカルへの同期操作 マスターノードよりページリストを取得 ページリストを元に古くなったページを探索 古くなったページについて各ノードから最新ページを取得 Consistent-Hashed Master Database Content-Hashed Page PC ③ ① PC Content-Hashed Page ② ③ PC PC Local Database ③ ③ Content-Hashed Page Content-Hashed Page PC PC

ローカルからマスターへの同期操作 トランザクション内の更新コマンドを一括して転送 マスターデータベースを一括更新 更新されたページのコンテンツ・ハッシュ化して各ノードに転送 Consistent-Hashed Master Database Content-Hashed Page ② ③ PC PC ③ Content-Hashed Page ① PC ③ PC Local Database ③ Content-Hashed Page Content-Hashed Page PC PC

P2Pデータベースのソフトウェア構成(1) SQLite Database Daemon DHash Chord btree btree ジャーナリング pager pager ページ内容 同期化 コンテンツ ハッシュ化 OS OS DHash Chord Local Database Master Database