ネットワークを利用した 環境情報データ自動収集 サーバシステムの開発

Presentation on theme: "ネットワークを利用した 環境情報データ自動収集 サーバシステムの開発"— Presentation transcript:

1 ネットワークを利用した 環境情報データ自動収集 サーバシステムの開発
環境計測 西木陽平 14 Feb 2003 環境計測　卒論発表会

2 研究背景 地球温暖化 大気汚染 酸性雨 そらまめ君 環境ホルモン ダイオキシン 14 Feb 2003 環境計測　卒論発表会

3 そらまめ君について 大気汚染物質広域監視システム 1時間ごとの速報値 データの保存期間は1週間 地図表示や表表示やグラフ表示
14 Feb 2003 環境計測　卒論発表会

4 目的 長期間に渡り広域データを自動的にダウンロードし、格納し、2次的利用に対応したデータサーバを構築する データサーバ
14 Feb 2003 環境計測　卒論発表会

5 Javaによる環境情報 グラフ化アプレット
京都府保健環境研究所（保環研）のデータ形式 14 Feb 2003 環境計測　卒論発表会

6 システム全体の概要図 ネットワークプログラムの概要図 インター ネット データ要求 そらまめ君の ＷＷＷサーバ データサーバ データ送信
エラー発生 エラー発生 管理者へメールを送信 14 Feb 2003 環境計測　卒論発表会

7 システム全体の概要図 データサーバの概要図 そらまめ君のデータ形式 インター ネット データ要求 Web公開 そらまめ君の ＷＷＷサーバ
保環研の データ形式 データサーバ データ送信 14 Feb 2003 環境計測　卒論発表会

8 データサーバの備える機能 開発環境 プログラミング言語 正規表現で文字列をマッチング サーバのOS cron Webサーバ シェルスクリプト
Perl サーバのOS Linux Webサーバ Apache 正規表現で文字列をマッチング cron シェルスクリプト 多くのコマンド サーバアプリケーション 14 Feb 2003 環境計測　卒論発表会

9 データサーバの備える機能 定時に自動でデータを取得 データ取得エラー時に欠損を補正 取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信 自動でHTMLを作成し、Web上にデータを公開 14 Feb 2003 環境計測　卒論発表会

10 データサーバの備える機能 定時に自動でデータを取得 cron シェルスクリプト 定期的にプログラムを実行する常駐プログラム
決められた時間に決められた仕事をこなす シェルスクリプト 複数のコマンドが連続して動作する 一種のプログラミング言語 14 Feb 2003 環境計測　卒論発表会

11 データサーバの備える機能 1時間に2回起動するシェルスクリプト 毎正時 10分 40分 次正時 データ取得 そらまめ君側データ更新 20分
1時間に2回、10分と40分に起動する 14 Feb 2003 環境計測　卒論発表会

12 データサーバの備える機能 1日に1回起動するシェルスクリプト 午前1時40分 10分 15分 午前2時 データ 取得 データ取得 20分
そらまめ君の1日の最終データ（24時のデータ）更新が次の日の午前1時20分 データサーバ 補正 ファイル 作成 HTMLファイル作成 保環研形式に変換 1日に1回、2時20分に起動する 1日に1回、2時15分に起動する。 14 Feb 2003 環境計測　卒論発表会

13 データサーバの備える機能 定時に自動でデータを取得 データ取得エラー時に欠損を補正 取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信 自動でHTMLを作成し、Web上にデータを公開 14 Feb 2003 環境計測　卒論発表会

14 データサーバの備える機能 　 京都市北区 北 null null --- null null null null null null null null null 京都市上京区 自排上京 null null null null null null null 京都市北区 北 null null --- null null null null null null null null null 京都市上京区 自排上京 null null null null null null null ～ 14 Feb 2003 環境計測　卒論発表会

15 データサーバの備える機能 　 京都市北区 北 null null --- null null null null null null null null null 京都市上京区 自排上京 null null null null null null null 　 京都市北区 北 null null --- null null null null null null null null null 京都市上京区 自排上京 null null null null null null null ～ 14 Feb 2003 環境計測　卒論発表会

16 データサーバの備える機能 　 京都市北区 北 null null --- null null null null null null null null null 京都市上京区 自排上京 null null null null null null null 　 京都市北区 北 京都市上京区 自排上京 ～ 14 Feb 2003 環境計測　卒論発表会

17 データサーバの備える機能 定時に自動でデータを取得 データ取得エラー時に欠損を補正 取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信 自動でHTMLを作成し、Web上にデータを公開 14 Feb 2003 環境計測　卒論発表会

18 データサーバの備える機能 京都市北区 北 null null --- null null null null null null null null null 京都市上京区 自排上京 null null null null null null null 京都市左京区 左京 null null null null null null null null null 京都市中京区 市役所 null --- null null null null null null null null 14 Feb 2003 環境計測　卒論発表会

19 データサーバの備える機能 14 Feb 2003 環境計測　卒論発表会

20 データサーバの備える機能 定時に自動でデータを取得 データ取得エラー時に欠損を補正 取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信 自動でHTMLを作成し、Web上にデータを公開 14 Feb 2003 環境計測　卒論発表会

21 データサーバの備える機能 管理者に送信されるエラーメール データ取得時に何かエラーが発生した時 何時間かデータが欠損した時
何ヶ所かデータが欠損した時 12時間データが更新されなかった時 14 Feb 2003 環境計測　卒論発表会

22 データサーバの備える機能 管理者に送信されるエラーメール 携帯に送信された時 14 Feb 2003 環境計測　卒論発表会

23 データサーバの備える機能 定時に自動でデータを取得 データ取得エラー時に、欠損を補正 取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者へメールを送信 自動でHTMLを作成し、Web上にデータを公開 14 Feb 2003 環境計測　卒論発表会

24 データサーバの備える機能 年と月を指定し、OKをクリック 14 Feb 2003 環境計測　卒論発表会

25 データサーバの備える機能 14 Feb 2003 環境計測　卒論発表会

26 結論 ネットワークを利用し、自動でデータを収集 し、長期間に渡り広域データを保存することが可能 データサーバの状況 1ヵ月半データを収集
　データサーバの状況 　1ヵ月半データを収集 　1日のデータ増加量― 130kB 14 Feb 2003 環境計測　卒論発表会

27 結論 環境情報提供の新たなスタイルを確立 ネットワークを利用し、自動でデータを収集 し、長期間に渡り広域データを保存することが可能
自動でエラーメール送信やHTML作成が可能 Javaによる環境情報グラフ化アプレットと結合が可能 環境情報提供の新たなスタイルを確立 14 Feb 2003 環境計測　卒論発表会

28 今後の展望 全国47都道府県のデータを収集 地震の即時データや気象データに応用 14 Feb 2003 環境計測　卒論発表会

29 おしまい そらまめ君について 目的 Javaによる環境情報グラフ化アプレット システム全体の概要図 データサーバの備える機能 結論
定時に自動でデータを取得 データ取得エラー時に欠損を補正 取得してきたデータを保環研のデータ形式に変換 データ取得エラー時に管理者へメールを送信 自動でHTMLを作成し、Web上にデータを公開 結論 今後の展望 14 Feb 2003 環境計測　卒論発表会

30 そらまめ君について 14 Feb 2003 環境計測　卒論発表会

31 ソケットについて 2つの通信し合うプロセス（サーバとクライアント）の両端を表す抽象的な概念をソフトウェアとして実現したもので、socketを介してプロセス間の通信ができるようになっている。 14 Feb 2003 環境計測　卒論発表会

32 データサーバの備える機能 管理者に送信されるエラーメール 2003021401から2003021403まで データが欠損しました。
何時間かデータが欠損した時 から まで データが欠損しました。 14 Feb 2003 環境計測　卒論発表会

33 データサーバの備える機能 管理者に送信されるエラーメール 何ヶ所かデータが欠損した時
のデータは、京都市上京区 自排上京 京都市中京区 自排西ノ京京都市山科区 自排山科 京都市西京区 自排桂 が欠損しました。 14 Feb 2003 環境計測　卒論発表会

34 データサーバの備える機能 12時間に1回起動するシェルスクリプト 12時35分 24時35分 今回取得してきたデータ保存
12時間前に取得して きたデータと比較 今回取得してきたデータ保存 14 Feb 2003 環境計測　卒論発表会

35 データサーバの備える機能 管理者に送信されるエラーメールについて 12時間たっても、新しいデータが取得できていません。
12時間データが更新されなかった時 12時間たっても、新しいデータが取得できていません。 14 Feb 2003 環境計測　卒論発表会

36 データサーバの備える機能 開発したプログラム データを取得 データ取得エラー時に管理者へメールを送信 データ取得エラー時に欠損を補う
 データを取得  データ取得エラー時に管理者へメールを送信 データ取得エラー時に欠損を補う 保環研のデータ形式に変換 自動でHTMLを作成 14 Feb 2003 環境計測　卒論発表会

37 開発のポイント 定時に自動でデータを取得 データ取得エラー時に欠損を補正 取得してきたデータを保環研のデータ形式に変換
データ取得エラー時に管理者にメールを送信 自動でHTMLを作成し、Web上にデータを公開 14 Feb 2003 環境計測　卒論発表会