「リアルタイム・データハブ」アーキテクチャ Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. ビッグデータを蓄積しながら、 同時にリアルタイムに処理するプラットフォーム 0 データの収集・複製・分岐 データの蓄積・保存.

Presentation on theme: "「リアルタイム・データハブ」アーキテクチャ Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. ビッグデータを蓄積しながら、 同時にリアルタイムに処理するプラットフォーム 0 データの収集・複製・分岐 データの蓄積・保存."— Presentation transcript:

1 「リアルタイム・データハブ」アーキテクチャ Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. ビッグデータを蓄積しながら、 同時にリアルタイムに処理するプラットフォーム 0 データの収集・複製・分岐 データの蓄積・保存 リアルタイムに加工 データの分析 BI ツール ダッシュボード Excel Saleforce Jaspsersoft Pentaho 他、 BI ツール ダッシュボード SQL 、 JDBC 、 ODBC API ①データの 複製・分岐 ③アドホック データマート作成 ②リアルタイム・デーマート作成 ④リアルタイム・モニタリング その他のリアルタイム処理 Tableau Motion Borad ？

2 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 1 ①データを複製・分岐し、リアルタイム処理 大量に発生するビッグデータを高速に複製・分岐し、 データの蓄積や、各種リアルタイム処理に投入 ビッグデータの活用では、バッチ処理的な分析以外にも、リアルタイ ムで処理したいケースがあります。 このようなケースでは、データ発生直後に高速にデータを複製・分岐 し、ビッグデータの蓄積を行いながら、同時に各種リアルタイム処理 にデータを投入する必要があります。 GUST は、ビッグデータを？？？？？に格納しなが ら、様々なリアルタイム処理を実行します。

3 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 2 ②リアルタイム・データマート作成 ビッグデータの蓄積・保存と同時に、 リアルタイムでデータマートを作成 大量データ（ビッグデータ）は、その蓄積・保存にも多くの時間を要し ます。例えば、今日のマーケティング・データを蓄積し、分析用のデー タマートを作成し、実際に担当者が分析できるようになるまでに、通常 ２～３営業日を要することになります。 分析担当者の「今日のデータは今日見たい」というニーズを実現するた めには、蓄積・保存と同時に、データマートを作成する必要があります。 GUST は、？？？？？への蓄積・保存を 行いながら、同時にデータマートを作成します。

4 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 3 ②リアルタイム・データマート作成 Before ETL ツールを使って夜間バッチ処理。 今日のデータを使った分析が可能になるのは、数営業日後？ After データを蓄積しながら、同時並行でデータマートを作成。 現時点までのデータを、いつでも取り出せ、すぐに分析できる。

5 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 4 ③アドホック・データマート作成 ビッグデータを、様々な確度から、 「トライ＆エラー（＝アドホック）」で分析 ビッグデータから、価値のある情報を見つけ、ビジネスで活用するため には、統計的な手法ももちろん必要ですが、 PDCA サイクルを短い期間 で回していくアプローチも必要です。 大量のデータ（ビッグデータ）から、従来の ETL ツール等を用いて分析 用のデータマートを作成するのは長い時間がかかり、 PDCA サイクルを 短くするという戦略に合致しません。 GUST は、？？？？？に格納されたデータを 高速でデータマートに変換。短時間でデータマート が作成でき、繰り返し何度も処理できます。

6 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 5 ③アドホック・データマート作成 Before ETL ツールを使って夜間バッチ処理。 例えば、新たな分析軸を追加したい場合、バッチ処理を修正してから、 データを再作成、再度夜間バッチ処理を実行する必要がある。 新たな分析軸を使って、実際に分析ができるのは数営業日（場合によっ ては数週間）後？ After 新たな分析軸を追加するために、 GUST の設定を変更。 数十分程度（ ※ ）で、すぐに新たな分析軸を使って分析が可能。 ※ データ量によって異なります。上記は数千万件程度のデータを想定しています。

7 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 6 ④リアルタイム・モニタリング ビッグデータの蓄積・保存と同時に、 リアルタイムでデータを監視 「大量のシステムログから、異常データを検知したい」、「システムへ の不正アタックや、不正な決済の実行などを、速やかに検知したい」、 といったニーズに対応するためには、データを蓄積・保存してから、分 析していたのでは間に合いません。データが発生した瞬間に、それをモ ニタリングし、異常値を検出、アラートする必要があります。 また、消費者の行動をリアルタイムにモニタリングして、その場での クーポン発行・送付など、マーケティングに応用することも可能です。 GUST は、？？？？？への蓄積・保存を行い ながら、同時にリアルタイムでデータを監視します。

8 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 7 ④リアルタイム・モニタリング GUST が可能にすること 単純なログのフィルタリングだけでなく、 １時間以内に、○○が何回出現したか １分間の平均値を計算して、平均が○○以上だったら といった、時間軸を考慮した条件設定が可能。 複数のログをリアルタイムに突き合わせて、 A ログが○○という条件に合致して、同時に（１時間以内に） B ログが△△という条件 に合致したら といった条件設定が可能。

9 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 8 ④リアルタイム・モニタリング（ユースケース） 情報システムの予防保守 システムの各種ログを収集。 DB でｘｘというログが出たあと、５分以内に Apache でｘｘというログが出た ら、システムダウンの兆候なので、アラートを出す。もしくは自動リブートす る。 不正な機密情報へのアクセスを検知 各種システムの認証ログ、アクセスログ、入館等のカードリーダーのログ、 WAF のログ、全 PC の操作ログを収集。 カードリーダーの情報で、オフィスに入館していない人が、社内からログイン して重要な情報にアクセスしようとしていたら、アラートする。 大量の個人情報をダウンロードした後、 PC から当該ファイルを USB 等にコピ－ したり、ネットワークで転送していたら、アラート。

10 GUST の機能 Copyright©2008-2015 KAMOME Engineering, Inc. All rights reserved. 9 ④リアルタイム・モニタリング（ユースケース） 行動履歴からのクーポン発行（又は観光案内） 店舗 Web サイト（又は観光サイト）のログと、スマートフォン内のアプリログ （位置情報）とを収集する。 店舗 Web サイト（又は観光サイト）に訪問した人が、その店舗（その観光地） の近くまで来たら、即座にクーポン（観光情報、お土産情報）を発行する。 自宅の防犯 玄関ドアや窓の開閉、電気や照明のログ、家族の位置情報などの情報を収集。 家族が外出中にも関わらず、ドアの開閉や電気の使用があった場合や、普段と 異なる利用パターン（ ※ ）が検知された場合に、セキュリティ会社に通報。 ※ 「普段と異なる利用パターン」を見つけるには、別途ビッグデータ分析が必要。