データの品質管理・更新体制 データを正規化するために必要な各段階 河川水辺の国勢調査データの流れ 水文水質データについて(リアルタイムデータ) 水文水質データについて(蓄積データ)
どのレベルが省かれても、「公表」、「利用」はされない データを正規化するために必要な各段階 どのレベルが省かれても、「公表」、「利用」はされない 各段階での責任体制確立 新しい情報 正規化チェック ステータス付与 検収 データチェック プログラム データベース 格納 ■標準化、共有化が必要なものについて順次本省が主導し、仕組みを構築 ■事務所独自で必要なものについては、標準化を睨みながら事務所で構築 いずれにしても、共通に使うデータは、責任部署が意志決定し(担当者レベルではなく)、公開されたガイドライン、標準仕様に基づき電子データ化され、これを検定、チェックするシステムを通した後、データベースに収まり、そのデータが、どのような計測の方法で採取されたのか、公式、非公式などのデータのステータスを付与したものが、公開されたデータとなる データベース 作成発注 コンセプト 決定 電子化 ガイドライン 事務所 データベース 作成要領 機関決定
コンセプト決定 データ作成、利活用に関する考え方、方針を決定する。ここでのコンセプトに従って、今後の作業が決定される。 機関決定 前記コンセプトについて、機関としての意思統一を行う。 データベース作成要領 コンセプトに従って、データベースの利活用に適応した作成要領を作成する。 原データの収集方法、データベース化する項目、内容について記述する。 電子化ガイドライン 上記に従って、データを電子化するためのガイドライン(作成指針)を作成する。 電子化にあたっての留意事項、データチェックの方法について記述する。 データベース作成発注・検収 上記の作成要領、電子化ガイドラインに従って、作成業務を発注する。 データチェック プログラム 納品に際しては、データチェックプログラムにより、データの書式チェックを行うとともに、内容チェックを行う。 正規化チェック →ステータス付与 →データベース格納 データチェックプログラムに合格したデータに対して、正規化チェック(データの入力ミス、二重入力等の確認、修正)、ステータス付与(データの状態等に関する情報を付加)を行い、データベースへ格納する。
河川水辺の国勢調査データの流れ リバーフロント 整備センター データ管理 センター 調査会社 工事事務所等 地方整備局 一般国民 調査データ データ真正化 調査データ 登録時の チェック (入出力システム) 入出力システムを用いてデータ登録時に生物種エラー、数量、品質チェックを実施しデータ精度を確保 データ受領時の チェック (一次チェック) ・調査仕様照合 ・データフォーマット ・データ整合性等 チェック データの 受け渡し データ公開 現在MO 現在MO 現在MO 二次チェックA <自動集計目視チェック> ・フォーマットエラー ・マスタバージョン ・分布域チェック ・調査データの配信サービス ・アプリソフトの配信サービス ・WebGIS ・認証(データフォーマットチェック) 二次チェックB <スクリーニング> ・種の同定(分布範囲) ・種名(異名等) ・種の配列(分類体系) ・目録更新・履歴管理 将来 光ファイバー 河川環境 情報 システム 一般インターネット網 ・真正データの運用 ・マスタ類の更新 公表データの作成 (特定種の隠匿) ・植生図特定植物群落 の隠匿処理 ・特定種確認位置 隠匿処理 将来光ファイバー CD(将来光ファイバー) 現在MO 一般国民 水辺環境GISセンター 河川環境情報システム ・真正データの管理 ・マスタ類の管理
水文水質データについて(リアルタイムデータ) 河川情報センター (地方センター) 異常値連絡 異常値チェック テレメータ データ 専用回線 工事事務所等 地方整備局等 関東・近畿整備局 データ管理センター 河川情報 データ収集システム (集中局) 地整局管内 河川情報 データ収集システム (中枢局) 全国河川情報データ処理システム (統括局) WebGISによる河川情報データの公開(川の防災情報) 専用回線(マイクロ回線・光) 専用回線(マイクロ回線・光) 専用回線(マイクロ回線・光) 全国合成キャリブレーション 一般インターネット網 レーダ データ 市町村 都道府県 一般国民
水文水質データについて(蓄積データ) 品質管理組織 一般国民 工事事務所等(正) 地方整備局等 データ管理センター 標準AQC 標準MQC ○○地整局水文観測委員会 標準AQC (異常値フラッグ) ・時間雨量強度の上限値 超過を検出 ・日雨量強度の上限値超 過を検出 ・水位の上下限値の抽出 ・水位変動値の上下限値 の検出 ・同一水位継続時間の上 限値超過の検出 標準MQC (異常データの棄却、推定値作成) 公開用水文水質DB 高度AQC (異常値フラッグ) ・極度に大きい時間雨量 観測値の検出 ・極端に大きい日雨量観測 値の検出 ・近隣雨量の相関 ・上下流水位の相関 ・水位の急激な増減 ・水位ピークの発生の順序 ・ピーク流量の生起順序 ・HQ曲線の水理水文的な 妥当性 高度MQC (異常データの棄却、推定値作成) 検定前はリアルタイムデータを蓄積データとして使用(副) 認証(データフォーマットチェック) 一般インターネット網 一時蓄積 サーバー 内部用水水 サーバー(正) 一般国民 AQC:自動品質チェック(Automatic Quality Check) MQC:手動品質チェック(Manual Quality Check) テレメータ データ