LogStructuredFileSystem Servey

Slides:



Advertisements
Similar presentations
Ddによる複製 2004/05/24 伊原 秀明(Port139).
Advertisements

第2回 プロセス管理 ジョブ、プロセスとは? プロセスの状態遷移 プロセス制御ブロック スケジューリング.
情報理工学系研究科 コンピュータ科学専攻 上嶋裕樹
計算機工学III オペレーティングシステム #14 ファイル: より進んだファイルシステム 2006/07/21 津邑 公暁
ライブ・ストレージマイグレーション 機構の開発とその評価
ファイルキャッシュを考慮したディスク監視のオフロード
Ibaraki Univ. Dept of Electrical & Electronic Eng.
最新ファイルの提供を保証する代理FTPサーバの開発
オペレーティングシステム 第10回 仮想記憶管理(1)
入 出 力 管 理 オペレーティングシステム 6/26/09.
10. メモリ 五島 正裕.
Linux インストール      のための基礎知識 物理実験 I 情報実験第9回 2003/12/12 中神 雄一.
OpenOffice.org で版管理 西木 毅 第2回関西OpenOffice.org勉強会 大阪電気通信大学
オペレーティングシステム 第11回 仮想記憶管理(2)
Xvfatに関しての議論
from KDD 2012 speaker: Kazuhiro Inaba
削除されたファイルの復元 2004/05/26 伊原 秀明(Port139).
仮想マシンの並列処理性能に対するCPU割り当ての影響の評価
記 憶 管 理(2) オペレーティングシステム 第10回.
ファイルシステムキャッシュを 考慮した仮想マシン監視機構
メモリ暗号化による Android端末の盗難対策
OSが乗っ取られた場合にも機能するファイルアクセス制御システム
担当:青木義満 情報工学科 3年生対象 専門科目 システムプログラミング システムプログラミング プロセス間通信(パイプ) 担当:青木義満
データ構造とアルゴリズム 分割統治 ~ マージソート~.
オペレーティングシステム 第12回 仮想記憶管理(3)
第7章 データベース管理システム 7.1 データベース管理システムの概要 7.2 データベースの格納方式 7.3 問合せ処理.
第3章 補足:パラメータが極小値に収束する例
メモリ管理 4.3, 4.4 章 さだ.
拡張ボリューム 搭載NASのご紹介。 + の悩みを解決する データ管理 筐体台数の増加 全体の50% ディスク管理方法に見る
IIR輪講復習 #4 Index construction
SPARS-J デモ 山本哲男 立命館大学 情報工学部 2018/12/1 SPARS-J デモ.
Javaソースコード蓄積・ 検索システムSPARS-Jの概要
セキュリティ(6) 05A2013 大川内 斉.
他のプロセスに あたえる影響が少ない 実行時ミラーリングシステム
VM専用仮想メモリとの連携による VMマイグレーションの高速化
アルゴリズムとデータ構造1 2006年6月16日
人工知能特論 9.パーセプトロン 北陸先端科学技術大学院大学 鶴岡 慶雅.
仮想メモリを用いた VMマイグレーションの高速化
複数ホストに分割されたメモリを用いる仮想マシンの監視機構
Ibaraki Univ. Dept of Electrical & Electronic Eng.
オペレーティングシステムJ/K (仮想記憶管理)
第7回 授業計画の修正 中間テストの解説・復習 前回の補足(クロックアルゴリズム・PFF) 仮想記憶方式のまとめ 特別課題について
Internet広域分散協調サーチロボット の研究開発
オープンソース開発支援のための ソースコード及びメールの履歴対応表示システム
全体ミーティング 6月6日 島本 大輔(M2) 2006年6月6日(火).
計算量理論輪講 chap5-3 M1 高井唯史.
先進的計算基盤システムシンポジウム SACSIS2007併設企画 マルチコアプログラミングコンテスト 「Cellスピードチャレンジ2007」
遺伝統計学 集中講義 (4) SNPによる領域の評価
他のプロセスに与える影響の少ない 実行時ミラーリングシステム
未使用メモリに着目した 複数ホストにまたがる 仮想マシンの高速化
Peer-to-Peerシステムにおける動的な木構造の生成による検索の高速化
第5回 メモリ管理(2) オーバレイ方式 論理アドレスとプログラムの再配置 静的再配置と動的再配置 仮想記憶とメモリ階層 セグメンテーション
Data Clustering: A Review
プログラミング演習I 2003年7月2日(第11回) 木村巌.
第4回 メモリ管理 主記憶(メインメモリ)の管理 固定区画方式と可変区画方式 空き領域の管理 スワッピング.
1999年度 卒業論文 UDPパケットの最適な送信間隔の検討 早稲田大学理工学部情報学科 G96P026-4 小川裕二.
高精細計算を実現するAMR法フレームワークの高度化 研究背景と研究目的 複数GPU間での袖領域の交換と効率化
全体ミーティング (5/23) 村田雅之.
仮想マシンに対する 高いサービス可用性を実現する パケットフィルタリング
アルゴリズムとデータ構造 2011年6月16日
Mondriaan Memory Protection の調査
プログラムの差分記述を 容易に行うための レイヤー機構付きIDEの提案
アルゴリズムとデータ構造1 2009年6月15日
オペレーティングシステム (ファイル) 2006年11月16日
オペレーティングシステム (ファイル) 2008年11月17日
高度プログラミング演習 (11).
アルゴリズムとデータ構造 2010年6月17日
ATLAS実験におけるSUSY の発見能力
Dynamic Function Placement for Data-intensive Cluster Computing
Ibaraki Univ. Dept of Electrical & Electronic Eng.
Presentation transcript:

LogStructuredFileSystem Servey 論文:The Design and Implementation of a Log-Structured File System (1991) 著者:Mendel Rosenblum, John K. Ousterhout PDF:http://citeseer.ist.psu.edu/rosenblum91design.html

Log Structured File System 目的:書き込みパフォーマンスを向上させる info1 data1 data1 FFS LFS data2 data2’ data2 data3 data3 info1’ info1 info1’ data2’ ばらばらだった書き込み要素を近くにまとめて、 一回のアクセスで書き込む(速度アップ) 書き込み、上書きは全てログの形で追記 (クラッシュリカバリのしやすさ)

Unix FFSの構造 inodeをベースにしたファイルシステム ファイルの内容はブロック単位で書き込む 残りはin direct block ファイルの更新日時等の情報も持つ inode block block In direct block block

Unix FFSの問題点 Dir1/File1を書き込む場合を考える inodeの位置が固定アドレス 4回のシーク! 4つを書き換え! data Dir data

Log Structured File System inodeをどこでも置けるようにする データとinodeを隣接させる 一回のシーク! inodemapは十分に小さいのでメモリに乗る inode data inode Dir data 追記 inode map

容量の問題 ログを書いていくと容量が不足 いらなくなったログをガベージコレクトする必要 セグメント(1MByte)単位で空き領域を管理

セグメントクリーニング いらなくなったログを回収する セグメント内で生きているブロックをコピー ブロックの生き死にを判断する必要 Segment Summary Blockを導入 ⇒セグメント内のブロックにファイル番号とブロック番号を割り当てる inode mapを見て生きているか判断 gabage 空き! gabage

クリーニングポリシー ベーシックに実装すると・・・ いつ? バックグラウンドで どこを? 最も断片化している部分 いつ? バックグラウンドで どこを? 最も断片化している部分 どのようにグルーピング? Age Sort これらは最適?

最適なクリーニングポリシーの決定をするために 書き込みコストの指標 Write cost=total bytes read and written / new data written 新しいデータを書くたびに、どれだけアクセスしなければならないか これを最小化するような、クリーニングポリシーが望ましい

LSFの書き込みコストを計算 1セグメント書くときに1セグメント回収すると仮定 書き込みコストは回収セグメントの使用率に依存 理想は、少と一杯のbinualで、常に少を回収していればよい状況 そうなるようにクリーニングポリシーを決定したい

書き込みコスト実験 4kByteのファイルを上書きする実験 A.全てのファイルに均等にアクセス B.Hot-and-coldにアクセス

結果 グラフ ディスク使用率が低ければLFSよりいい しかし空間局所性が上がると性能低下!?

なぜ局所性が上がると性能が落ちるのか? 使用率が低いセグメントをクリーニング Hotなセグメントが上書きされやすい ⇒ガベージが生まれやすい ⇒クリーニングされやすい しかし、クリーニングしても、それもhotなのですぐに死ぬ 段々、 Coldがフラグメント化され、ディスクにガベージがたまる

Cost-Benefit-Policy Hotは後でまとめてクリーニングした方がいい Coldはクリーニングした後、live dataがそのまま残り続ける確率が高い クリーニングした後、どれだけ生き続けるかを基準にすることで、hotとcoldを分けて扱う Benefit/cost=(1-u)*age/(1+u) 回収された後に生まれる空き領域/コピーするのに必要なコスト u:使用率

Segmant Usage Table Cost-benefit-policyを実現するため ⇒セグメント内のlive dataの数 ⇒もっとも若いブロックの年齢 を持つ ログとして書き出される

性能評価 80%のディスク使用率でも、FFS改良版と同程度の性能が出る 詳しい評価は次章以降