数値モデルの出力データをどのように取り扱っているか？

Presentation on theme: "数値モデルの出力データをどのように取り扱っているか？"— Presentation transcript:

1 数値モデルの出力データをどのように取り扱っているか？
石渡 正樹 (北大・地球環境) 小高 正嗣 (北大・理) 森川 靖大 (北大・理) 林　祥介(北大・理)

2 dcmodel プロジェクト http://www.gfd-dennou.org/library/dcmodel
地球大気との比較 階層的モデル群による アプローチ

3 歴史的経緯 1990： AGCM5 と GTOOL3 19??：ISPACK開始 1999： Davis プロジェクト
もともと気象庁のモデルであったものを大学用モデルとして再構築 データ形式の考案、I/Oライブラリと可視化ツールの作成 19??：ISPACK開始 スペクトル変換法のためのライブラリ 1999： Davis プロジェクト netCDF を用いることによる自己記述形式の検討：gtool4 オブジェクト指向スクリプト言語Ruby　使用し始める 2002 ：SPMODEL, Ruby モジュール達が本格的に 2003 ：gt4f90io, GMS開始

4 ソフトウェアの全体像 models GAVE SPMODEL DCPAM DCL GPhys ISPACK gt4f90io
tools for analysis and visualization GAVE SPMODEL DCPAM DCL GPhys ISPACK gt4f90io RubynetCDF gtool4 netCDF convention netCDF3.6 / netCDF4 data

5 我々の日々の営み F90で書かれた数値モデルからデータ生成 解析・描画 Web 化(公開) Gtool4 netCDF 規約に基づくデータ
付加される情報 作成者・表題・履歴 etc... 変数・時刻・座標・欠損値・単位 etc... データ I/O ライブラリ: gt4f90io 解析・描画 Dennou Ruby ツール群 (GPhys, gpview, GAVE) Web 化(公開) 基本的には「手動で」ガシガシ作る Ruby スクリプトでちょっと省力化

6 具体例 大気大循環モデルを用いたパラメータ変更実験 データの置き場の実際 結果の図の置き方の実際
放射のパラメータを変えたときに熱帯の雨の降り方はどう変わるか 研究グループは１０人以下 データの置き場の実際 実際のサーバ中のディレクトリ・ファイルを見てみましょう １０ケース程度の実験で全部で？？GB 結果の図の置き方の実際 このような　web ページを介して結果の検討

7 困ったことは 数値実験の履歴の管理はほとんどしてない ファイル(数値データも画像も)の管理情報は基本的に頭の中に
どんな実験やったのかわからなくなってしまう 各実験の覚え書きをちゃんと残しておきたいが。。 ファイル(数値データも画像も)の管理情報は基本的に頭の中に ｃｄ　でディレクトリツリーの中をさまよったりする 画像データの「属性」の管理をしたいのだが、どうしたら良いかわからない どうやって図を描いたか忘れてしまう

8 現状のサマリー モデルが出力する数値データ、そこから派生する画像データの管理は基本的に「手動」で作業者の記憶に頼っている。
どのようなデータ、どのような図が存在するかというのを探せるシステムがあれば嬉しいのかもしれないが、 かけるコストに見合うものはできるのか？ データベースなど活用すると嬉しいのか？

9 数値データの管理の現状 ファイル単体の情報 ディレクトリ構成の情報 データベース専門のかっこいいソフトは使ってない
gtool4 netCDF 規約に沿って付加される自己記述的情報 見るときは ncdump というコマンドで直接 ファイル名もそれなりに工夫はする Namelist ファイルも組みで置いておく ディレクトリ構成の情報 各ディレクトリに ****.SIGEN というファイルを作成 SIGEN ファイルに製作者, 製作日時, ディレクトリ内に格納されるデータの総合的な情報 定期的にスクリプトを起動して各ディレクトリの SIGEN ファイルを解析, 各ディレクトリに SIGEN.htm というファイルを作成 (Web 上からでも確認できる.) データベース専門のかっこいいソフトは使ってない