東京大学 新領域創成科学研究科 環境学専攻 自然環境学講座 自然環境学形成学分野 助手 安形康

Slides:



Advertisements
Similar presentations
コンピュータ基礎実習 ( 上級 ) 第七回 CGI の利用 清水淳紀. はじめに  本講義のテーマ  ホームページで良く利用される CGI ( シージーアイ ) について学びます。  CGI とは何か  CGI の基礎知識  CGI をサーバーにインストールする  CGI を実行してみる.
Advertisements

基盤地図情報の活用 中村 憲. 基盤地図情報とは 国土地理院が整備 様々な機関が作成した地図データを統一フォー マットでネット上で公開 無料 ( 登録必要 ) OCAD 等で利用するためには形式を変換する必要 あり 公開範囲は順次拡大中 GPS との相性もいい ( リアルワールド座標 )
1 安全性の高いセッション管理方 式 の Servlet への導入 東京工業大学 理学部 千葉研究室所属 99-2270-6 松沼 正浩.
BBT大学 Ruby on Rails開発環境セットアップマニュアル
ストリーミング配信 惑星物理学研究室 修士2年 土屋 貴志.
最新ファイルの提供を保証する代理FTPサーバの開発
静岡大学大学院理工学研究科 阿部 秀尚 Weka入門(セットアップ編) 静岡大学大学院理工学研究科 阿部 秀尚
Samba日本語版の設定と運用のノウハウトラブルシューティング編
WebDAVでOpenOffice.org の文章を共有する
計算機リテラシーM 第2回 メール 伊藤 高廣.
「絵葉書を通じてのハルビンの 街の印象調査」システムUIの iPadアプリ化 谷研究室  飯 祐貴.
情報理工学部 情報システム工学科 ラシキアゼミ3年 H 岡田 貴大
水工学夏期研修会 2012年8月27日 CommonMPによる流出計算 菊森 佳幹(よしと) 1.
ただで使えるソフトウェア ーインストールとお絵かきー
解析サーバの現状と未来 2006/07/18 衛星データ処理勉強会 村上 弘志 現状のシステム構成など 統合解析環境としての整備
CGI Programming and Web Security
An empirical comparison of C, C++, Java, Perl, Python, Rexx, and Tcl
JavaServlet&JSP入門 01K0018 中村太一.
シミュレーション物理5 運動方程式の方法: サブルーチンの使い方.
第一回 Java言語 04A2029           古賀慎也.
データマイニング 湯山 悠司.
セッション管理 J2EE I 第9回 /
アプリケーション共有機能 〈参考〉 (図1) (図2)
HTTPプロトコルとJSP (1) データベース論 第3回.
クラシック音楽普及プロジェクト KG:mao B3 wakutin.
Curlの仕組み.
HTTPプロトコル J2EE I 第7回 /
複数CPU間のための共有メモリ 小島 隆史(中央大学大学院理工学研究科 國井研究室)
コンピュータ・リテラシーb 第10回 Excel によるグラフ作成.
Javaプログラムの実行まで バイト Javaの コード 実行 ソースコード Java ファイル名 ファイル名 abc.java
「OPACに買い物カゴを」 ~東京大学OPACバスケット~
基幹理工学研究科 情報理工学専攻 後藤研究室 修士1年 魏 元
シミュレーション演習 G. 総合演習 (Mathematica演習) システム創成情報工学科
Java ソフトウェア部品検索システム SPARS-J のための リポジトリ自動更新機能の実現
Titanium Studioを使った アプリ開発 Vol.1
2004年度 サマースクール in 稚内 JavaによるWebアプリケーション入門
2003年度 データベース論 安藤 友晴.
Linux リテラシ 2006 第4回 ネットワーク CIS RAT.
ネットワークプログラミング 中村 修.
ラズパイ・オーディオの製作 中間報告1 14EC004 飯田 頌平.
Cisco Router GUI設定 CCPE3.2 紹介 本資料に記載の各社社名、製品名は、各社の商標または登録商標です。
ガジェット・マスターへの まわり道!? ~Ajaxを理解しよう~
プログラミング応用 printfと変数.
人間活動を考慮した 世界水循環水資源モデルの 構築に向けて: 農業生産モデルEPICを用いた 世界の灌漑水量必要量の推定
Cisco Umbrella のご紹介 2018 年 1 月.
東京大学人間環境学専攻 奥田・橋本研究室 修士1年 相良 光志
新領域創成科学研究科 環境学専攻 自然環境学講座 自然環境学形成学分野 安形康
デジタル画像とC言語.
Web - 01 IIS を インストールしよう.
端末およびサービス透過的な 情報閲覧支援システムの構築
7-0.SWORD Client for WEKO インストールマニュアル Version 2.2
地域情報学 C言語プログラミング 第1回 導入、変数、型変換、printf関数 2016年11月11日
プロジェクト演習Ⅱ インタラクティブゲーム制作
パワーポイントの 作り方&発表方法 渡辺隆行 2003年5月.
速度ポテンシャルと 流線関数を ベクトルで理解する方法
オブジェクト指向言語論 第六回 知能情報学部 新田直也.
プログラミング言語論 第六回 理工学部 情報システム工学科 新田直也.
2013年度 プログラミングⅠ ~ はじめてのプログラミング ~.
Webアプリケーションと JSPの基本 ソフトウェア特論 第4回.
ASP.NET 2.0による Webサービスの構築 2008年10月18日 こくぶんまさひろ.
気候環境問題の新しい情報発信に向けて 領域創成プロジェクト (気候・環境問題に関わる高度複合系モデリングの基盤整備に関するプロジェクト)
最近のデータセット事情 JST/CREST 安形 康 AGATA, Yasushi
ネットワークプロトコル.
プログラムの一時停止時に 将来の実行情報を提供するデバッガ
ASP.NET 2.0による Webサービスの構築 2008年10月18日 こくぶんまさひろ.
情報工学科 3年生対象 専門科目 システムプログラミング 第3回 makeコマンド 動的リンクライブラリ 情報工学科 篠埜 功.
情報工学科 3年生対象 専門科目 システムプログラミング 第3回 makeコマンド 動的リンクライブラリ 情報工学科 篠埜 功.
ソフトウェア工学 知能情報学部 新田直也.
水循環モデルと農業生産モデルの相互比較 CREST成果としての モデル(MANDALA計画)のありかたを考える
オブジェクト指向言語論 第六回 知能情報学部 新田直也.
Presentation transcript:

東京大学 新領域創成科学研究科 環境学専攻 自然環境学講座 自然環境学形成学分野 助手 安形康 最近のグローバルデータセット事情 東京大学 新領域創成科学研究科 環境学専攻 自然環境学講座 自然環境学形成学分野 助手 安形康

われわれに必要なデータセット 自然側 経済社会側 これらすべての,現状と将来予測 河川流量 地下水賦存量(地域によっては重要) 人口分布(都市域とそれ以外にわけて) GDP 土地利用と農事暦 これらすべての,現状と将来予測

自然側Dataset 従来:GSWP いま(これから):GSWP2 1987,88年の気候DSから河川に入る水の量を シミュレーション計算.それをもとに河川流量算定 →これを「現在」とみなす いま(これから):GSWP2 1986~95年のDSが構築中 http://grads.iges.org/gswp2/

GSWP2でのデータ配布法 DODSという方法を使う DODS:オンラインDB データ取得方法 http://grads.iges.org/gswp2/dods.html DODS:オンラインDB 米国・フランス・日本(生産研)に3つのサーバ データ取得方法 シンプルなftp DODSを利用したhttp/CGI netCDF-DODSを利用してプログラムから GrADSなど,DODS対応アプリケーションから

DODSのWWWインタフェース 生産研サーバから,月別LAIデータを取得する 結果はこんな感じ→ http://ftp.tkl.iis.u-tokyo.ac.jp:9090/dods/gswp/grid/lai_uk.info からデータの情報を得る lai_ukが変数名, .infoがコマンド 結果はこんな感じ→

DODSのWWWインタフェース 必要な情報: LAIの場合, 行列の次元/各次元に対応する軸(変数)名 各軸のサイズ 3次元/「time」「lat」「lon」 /各々204,150,360サイズ Infoの結果に書いてある→ 軸名 軸サイズ

DODSのWWWインタフェース: 個個の値を得る Time=0,lat=100,lon=200の点でのLAIの値は? CGIとして, lai_uk.asc?lai[0][100][200] というhttpリクエストを送る .asc =命令. 「?」に続いてクエリを書く

DODSのWWWインタフェース: 結果1 こんな結果がテキストで返ってくる ←結果 ←各軸変数の, その点での実際の値

DODSのWWWインタフェース: 個個の値を得る2 Lat,lonをもう少し広げて,複数の点でのLAIの値を得たい CGIとして, lai_uk.asc?lai[0][100:105][200:202] といったhttpリクエストを送る 座標値指定の[]の中では,コロンを用いて範囲指定が可能

DODSのWWWインタフェース: 結果2 こんな結果 ←結果 ←各軸変数の, その点での実際の値

DODSのnetCDFインタフェース netCDF:グリッドデータのためのファイルフォーマット GSWPで「静的に」データ送受を行うときの「共通言語」 データ読み書きにはC/Fortran用 インタフェースがよく使われる PerlもJavaも,pythonすらもあるが…

netCDFの読み書き(C原語) コンパイル・リンク時には… プログラム中では… ではDODSだと? nc_open()でローカルにある(見える)netCDFファイルを開く nc_inq_ndims(),nc_inq_nvars()で 次元数,配列数を得る nc_inq_varid()で変数IDを得る nc_get_var_<type>()で変数を得る … コンパイル・リンク時には… libnetcdf.aをリンクする (リンク時に-lnetcdfをつける) ではDODSだと?

netCDFの読み書き(DODS) コンパイル・リンク時には… プログラム中では… いっさい変える必要はない ただし,nc_open()でURLを指定することができる つまりネットのむこうのnetCDFファイルに, まるでそれが自分のHDDに入っているかのようなつもりでアクセスできる. コンパイル・リンク時には… libnc-dods.aをリンクする (リンク時に-lnc-dodsをつける) つまりMakefileの変更は必要

netCDF-DODS:試してみました 体験記をWWWに書いています netCDFファイルを簡単にブラウズするtool: http://hydro.iis.u-tokyo.ac.jp/~agata/archive/GSWP2/startdods.html netCDFファイルを簡単にブラウズするtool: 元祖netCDFではncdump netCDF-DODSではdncdump dncdumpを試してみると

netCDF-DODS:試してみました 結果 ファイル名でなく,URLを指定していることに注意 # /usr/local/DODS/bin/dncdump -h http://www.monsoondata.org:9090/dods/gswp/vector/tair_cru netcdf tair_cru { dimensions: time = 39456 ; lat = 1 ; lon = 15238 ; variables: float tair(time, lat, lon) ; tair:_FillValue = 1.e+20f ; tair:long_name = "air temperature at 2m (kg/kg) " ; ******** (中略) // global attributes: :title = "NCEP reanalysis-2 data hybridized with CRU data" ; :convention = "COARDS" ; } ファイル名でなく,URLを指定していることに注意 表示内容は,ローカルファイルにncdumpをしかけたときと同じ

DODS:現バージョンの問題点 gcc3ではインストールできない ユーザからのコメントにより判明 C++部分でのバージョン互換性の問題か? Fortranコンパイラとして, Intel Fortran(ifc)が考慮されていない リンカオプションの追加変更など, Makefileを自分で書き換える必要がある. スループットは未知数 WebServiceとはあまり関連性がない

人文系データ これまで: 「現在」としては1990年ないし1995年がターゲット これからは「現在」とは2000年がターゲット? 2001年ころに仕事を始めたため これからは「現在」とは2000年がターゲット? データの公開・整備状況は?

GSWPのプロダクト:LSMからの年河川流出高 1987・1988年平均.

結果:年河川流量 0.5度グリッド版 任意地点での水資源量がわかるのがメリット

人口 CIESINの2.5分人口密度データ 国連人口予測(POPINおよびUNPOP) 現在Version2,残念ながら1995年のもの http://sedac.ciesin.org/plue/gpw/index.html?main.html&2 現在Version2,残念ながら1995年のもの 国連人口予測(POPINおよびUNPOP) http://www.un.org/popin/ http://www.un.org/esa/population/unpop.htm 後者は2000,2050,2100,2200,2300年,国毎

水の利用 WRI FAOSTAT Freshwater Withdrawals2003が最新 http://earthtrends.wri.org/datatables/index.cfm?theme=2&CFID=105193&CFTOKEN=13304985 Freshwater Withdrawals2003が最新 国別の水使用量について,データ年度が (アフリカ以外は)おおよそ1990年代に揃ってきた FAOSTAT http://apps.fao.org/ 国毎の灌漑面積:2001年度のものが最新