DBMSから見た Data Grid 小島 功 (産総研グリッド研究センター).

Slides:



Advertisements
Similar presentations
All Rights Reserved, Copyright © 2001 GeoBasic® & IIMS® Networking GIS データ共有型 GIS 2001年2月 ジーイーネット 株式会社.
Advertisements

IBM SmarterCloud Control Desk 7.5 新機能ガイド - 資産と構成アイテムの同期
オートデスク・コラボレーション・サービス オートデスク株式会社
モバイルエージェントシステムの実装 エージェント移動(状態とコードの一括移送) エージェント移動の特徴 システム構成 エージェントプログラム
         AVAIL,Inc. ただ今より、アベイル並びに、私共のミドルウェア製品を利用した連携ソリューションについてのご紹介を致します。
Curlの特徴.
The Enterprise-class Monitoring Solution for Everyone
DB(データベース)のおはなし 作成者:小野正広 DBと言っても、  ドラゴンボール ではないですぞ! 3/1/2017.
最新ファイルの提供を保証する代理FTPサーバの開発
パネル型クエリ生成インタフェース画像検索システムの改良
第3回参考文献発表 PHP言語 岩永逸平.
Novell Linuxブリッジ・キャンペーン 期間:2004年11月25日~2005年1月末日迄
Ad / Press Release Plan (Draft)
WebDAVでOpenOffice.org の文章を共有する
OpenOffice.org で版管理 西木 毅 第2回関西OpenOffice.org勉強会 大阪電気通信大学
Microsoft Office Project 2007
表紙.
ファイルシステムとコマンド.
第3章 第2節 ネットワークを活用した 情報の収集・発信 6 情報の多様な提示方法 7 構造を工夫した情報の表現方法 8 ウエブページの公開
Webサイト運営 09fi118 橋倉伶奈 09fi131 本間昂 09fi137 三上早紀.
既存システムを連携させることによるeラーニング ― MoodleとXoopsのアカウント情報を交換するモジュール ―
小型デバイスからのデータアクセス 情報処理系論 第5回.
モバイルエージェントの応用 概要 モーバイルエージェントの応用分野 AgentSpaceシステム エージェント移動 応用:ソフトウェアの配信
RDBMSについて 2年7組  小鹿 慎太郎.
InfoLibDBRによる      システム構築  山口大学 情報環境部 深川昌彦.
共同ローカリゼーション フレームワーク 井上 謙次.
空間メタデータ整備 における課題 園山 実 三菱総合研究所.
標準空間情報の整備及び 異種データベース間のデータ交換手法 に関する研究開発
アプリケーション共有機能 〈参考〉 (図1) (図2)
Telnet, rlogin などの仮想端末 ftp などのファイル転送 rpc, nfs
サーバ構成と運用 ここから私林がサーバ構成と運用について話します.
Java ソフトウェア部品検索システム SPARS-J のための リポジトリ自動更新機能の実現
15.同時実行制御,トランザクション, データベースの回復
東京大学空間情報科学研究センターを 中心とした空間情報データベースの整備
MPIによる行列積計算 情報論理工学研究室 渡邉伊織 情報論理工学研究室 渡邉伊織です。
2004年度 サマースクール in 稚内 JavaによるWebアプリケーション入門
2003年度 データベース論 安藤 友晴.
ホスティングサーバの作成と、 ラズベリーパイの利用
2017年度 情報技術マップ調査 ITディレクトリの構成とSI要素技術
RPC:Remote Procedure Call Protocol Specification
SOAP/UDDI/WSDLによるB2Bシステム構築の一事例
NASのアクセス履歴を記録・検索できる! マイナンバー制度対応のファイルサーバー(NAS)ログ管理ソフト
2009年度卒業論文発表 CDNコンテンツサーバの動的負荷分散
表紙.
オブジェクト指向プログラムにおける エイリアス解析手法の提案と実現
WebGIS開発 総合政策学部2年 飯塚直 2004年10月14日 厳網林研究会.
事務所における情報化の問題点 データが所内で共有されていない、各課ごとに個別に利用されている
実行時情報に基づく OSカーネルのコンフィグ最小化
WEBアプリケーションの開発 2002年度春学期 大岩研究会2.
Internet広域分散協調サーチロボット の研究開発
ゲーム開発モデルの基礎.
私の立場 OSカーネルを手がけるエンジニア 大阪市立大学 創造都市研究科の学生
オープンソース開発支援のための ソースコード及びメールの履歴対応表示システム
オープンソース開発支援のための リビジョン情報と電子メールの検索システム
クリアリングハウスの実現と展望 -検索から共用へ-
言語XBRLで記述された 財務諸表の分析支援ツールの試作
データベース設計 第7回 実用データベースの運用例 クライアント=サーバシステム(1)
情報システム1及び演習 第一回 データベースの概要.
VPNとホストの実行環境を統合するパーソナルネットワーク
JVOの研究開発 (プロトタイプ2の実装) 田中昌宏、白崎裕治、本田敏志、 大石雅寿、水本好彦(国立天文台)、
InTriggerクラスタ環境の構築 i-explosion 支援班 クラスタ環境の概要 研究に使える「共有資源」を提供
仮想環境を用いた 侵入検知システムの安全な構成法
ISO23950による分散検索の課題と その解決案に関する検討
プログラムの差分記述を 容易に行うための レイヤー機構付きIDEの提案
「拝啓、さかもとと申します」 2008年6月28日 わんくま同盟 勉強会初参戦。 ※最重要 -質問はご遠慮願います-
平成30年度 情報技術マップ調査 ITディレクトリの構成とSI要素技術
「拝啓、さかもとと申します」 2008年6月28日 わんくま同盟 勉強会初参戦。 ※最重要 -質問はご遠慮願います-
プログラム分散化のための アスペクト指向言語
知識ベースの試作計画 ●●●研究所 ●●●技術部 稲本□□ 1997年1月.
MPIを用いた 並列処理 情報論理工学研究室 06‐1‐037‐0246 杉所 拓也.
Presentation transcript:

DBMSから見た Data Grid 小島 功 (産総研グリッド研究センター)

プラットフォーム側が考える、 DataGridに要求される機能 DB/ストレージが分散している。 データとメタデータを分離して、メタデータはある程度一括管理し、データは分散する。 複数のアクセス法を支援する。 例:ファイルシステムでもあり、関係DBとも見える。 サーバでプロトコル変換 レプリカの管理を行う。 論理的なコレクションとファイルの管理、複製の一貫性管理

続き データのバージョン管理 動的な導出データ(生成方法ないしプログラムから要求時に動的に導出する) アクセス権・利用権制御 更新の管理 生成方法の記述・系統管理など アクセス権・利用権制御 他のツールとの連携

現状 Nirvana SRB(SDSC) Oracle iFS OGSA-DAIS Chimera などなど

プラットフォームシステム側の問題意識 汎用性・相互互換性 理由: 多様なプロトコルと互換があること。  (ファイルシステム・DB) 独自のプロトコルをあまり使ってないこと。 (問い合わせ・データ転送など) 理由: 類似の背景を持つ応用がほかにもあること。 技術的に関連するアクティビティがあること。 データベース統合が応用分野ごとにあること。(地質、文献)、アーカイブ)

例 データウェアハウス 基幹系データから重要な情報を引き出し、解析などして経営に役立てる。 例 データウェアハウス 基幹系データから重要な情報を引き出し、解析などして経営に役立てる。 基幹系データ サマリ・加工結果 コピーなど OLAPツール 多次元分析 可視化 プログラム 処理 データ・マイニング 導出データの系統管理(血統木のようなもの)などが問題 (これは、Virtual Dataなどでも類似の問題がある)

例2: 現時点でWebサービスとして? Webサービスアクティビティ Semantic Web セキュリティ・トランザクション WS-Security/WS-Transaction/WS-XX ワークフロー・ビジネスフロー BPELなど グリッドにおける? 標準化の方向 W3C(Not GGF) Semantic Web

方向 OGSAにより、SOAP/HTTPベースのシステムアーキテクチャが非常に有効 DBはXMLデータサーバとしてみる。 80でほとんど全部すむ。 その上でセキュリティやデータベースアクセスなどのプロトコルを合意すればよい。 WWWサービスの標準化動向ともあう。 DBはXMLデータサーバとしてみる。 OGSA-DAIS XQuery(XPath)/XMLSchema ファイルシステム・プロトコルを同時に提供 カタログアクセスなども、同じ方法でやる。  (MCATなどの独自検索はしない)

希望 ミドルウェアなどでは、DBMSの機能がうまく見える方が嬉しい。 単なるSQLサーバではないから。 導出データと一貫性の管理 トリガ 仮想化・個人化 アクセス権限の管理など 変にラップすると、このあたりの機能がまるで使えない。(ただし、標準である必要がある) 上記の点では、UDDIやLDAPについては?がある。

議論 (先の方向性がDB屋としては幸せ) 低レベルアクセスの位置づけ Diskアクセス アクセスコントロール SAN/NAS,iSCSI スイッチ/VPN/FW GRID WS-Federation WS-Trust WS-Security SOAP/HTTP FWなど

おまけ:Oracle的なソリューション 例えば、iFSのGridFTPへの拡張を行う。  JavaAPIを使ってユーザプログラムが可能。 実際のファイルシステムは分散したOracle上に作る。 コピー管理や導出データ管理、更新に伴うデータ一貫性の管理や系統・血統管理は、バックのOracle側のメカニズムや分散プロトコルを使う。(更新のイベント通知など) WWWサービス基盤にのせ・OGSA対応とする。 DB的には自然だが、応用に対して筋のよい解か?

Oracle iFS ファイルシステム・プロトコルを話す関係データベース NFS,FTP,Samba,IMAP/SMTPなど。 応用から見ればファイルシステム(例えば、FTPサーバ)で、同時にSQL問い合わせなどの機能「も」使える。 SQLから見た側の表のイメージは、定義・プログラム可能(標準のパッケージがある) プロトコルが拡張できる(プロトコル・サーバ) iFS SQL Oracle NFS 仮想化 導出データ トリガなど FTP

Oracle Materialized View ベースとなるデータと、それをもとに導出されたデータとの一貫性を自動的に維持する。 ベースデータの更新時の処理をオプションで指定。 導出データを全部再計算 差分だけ計算・更新 2. をやってみて、だめなら1.をやる しない 基幹データとサマリ・導出データやコピーの間の一貫性などの保持に利用されている。 Virtual Dataへの適用

対象処理(導出データを作れる処理) SQL+Stored Procedure DB処理に限られるともいえるし、 プログラム処理も扱えるともいえる。 インターフェイスとバインディング程度で指定できるもの プログラムはJavaで記述 コールスペック(SQLとの接続関係の記述)は、Oracle側で記述。 例 誰かの給与が20%以上上がったら(ここはDBをチェック)、そのデータを渡してJavaプログラムを起動とか。 大規模アプリ・ロングトランザクションへの対応は?

その他 一貫性 (イベント発生によるトリガ、更新による自動処理起動など) 一貫性 (イベント発生によるトリガ、更新による自動処理起動など) バージョン管理 (更新によるバージョンの管理。古いバージョンの利用) 分散    (リモートアクセスの提供) 個人化  (個人ごとの視野の提供) 並列処理 (クラスタリング) 仮想化 (仮想ビューの提供) ユーザ管理・アクセス権の制御 (SQLを使ったきめ細かい管理) など。 DBの文脈に限れば、ある程度は実現されていて、似た機能を0から作るか、DBを単にSQLサーバとして、その上でさらに上記機能を実現するミドルウェアを作ることは、屋上屋的のようにも思える。 DBMSはSQL処理を中心とした部分に限られるが、一般化の方向(つまり、SQLだけでなく、普通のプログラム処理と組み合わせて上記の機能を実現する方向)にあることも事実。