第2章 空間データの取得と作成 6. データの統合と修正

Slides:



Advertisements
Similar presentations
Maxent model への挑戦 - 驚きとドキドキ感の理論 - 大野ゆかり Phillips et al. (2006) Maximum entropy modeling of species geographic distributions. Ecological Modeling 190:
Advertisements

『わかりやすいパターン認 識』 第 5 章 特徴の評価とベイズ誤り確率 5.4 ベイズ誤り確率と最近傍決定則 発表日: 5 月 23 日(金) 発表者:時田 陽一.
計量的手法入門 人材開発コース・ワークショップ (IV) 2000 年 6 月 29 日、 7 月 6 ・ 13 日 奥西 好夫
土木計画学 第3回:10月19日 調査データの統計処理と分析2 担当:榊原 弘之. 標本調査において,母集団の平均や分散などを直接知ることは できない. 母集団の平均値(母平均) 母集団の分散(母分散) 母集団中のある値の比率(母比率) p Sample 標本平均 標本分散(不偏分散) 標本中の比率.
社会福祉調査論 第 8 講 統計の基本的整理 12 月7日. 【目標】 量的調査の集計方法、結果の示し方につ いて、基礎的な手法を習得する。 統計値を捉えるための諸指標を理解する。
地図の重ね合わせに伴う 位相関係の矛盾訂正手法 萬上 裕 † 阿部光敏* 高倉弘喜 † 上林彌彦 ‡ 京都大学工学研究科 † 京都大学工学部 * 京都大学情報学研究科 ‡
III. GIS データの作成. GIS はデータがなければ何もできない III. GIS データの作成 データ入手の二つの方法 1. 既存データの入手 長所:簡単,データの信頼性が保証されて いる 短所:費用がかかる,どんなデータでも入 手できるわけではない.
環境情報解析 第 3 回 空間情報の処理 ( 検索・操作・分析 ) 参考文献:入門地理情報システム (J.Star, J. Estes 著 ) など.
地理情報システム論 第11回 GIS による処理技法 アドレスマッチングの利用 空間的分布の特徴の把握.
環境情報解析 第2回 空間情報工学 参考文献:空間情報工学 [ 日本測量協会 ]. 空間情報工学の理念.
地図学・地理情報システム ( GIS ) 担当:村山祐司 TA :花島裕樹. Geographical Information System 地理空間情報  「現実世界の位置情報」+「位置に関連した 情報」 地理情報システム( GIS )とは  「地理空間情報」を保存・解析・表示するコ ンピュータシステム.
井上 亮 2011年1月28日 第4章 空間解析 8. 空間補間(応用) 井上 亮
データ分析入門(12) 第12章 単回帰分析 廣野元久.
Building text features for object image classification
地理情報システム論 第14回 GISによる処理技法と応用(3) ラスタ形式による空間的演算 ~土地利用の予測
時系列の予測 時系列:観測値を時刻の順に並べたものの集合
補章 時系列モデル入門 ー 計量経済学 ー.
土木計画学 第5回(11月2日) 調査データの統計処理と分析3 担当:榊原 弘之.
Bassモデルにおける 最尤法を用いたパラメータ推定
「データ学習アルゴリズム」 第3章 複雑な学習モデル 3.1 関数近似モデル ….. … 3層パーセプトロン
地理情報システム論 第3回 コンピュータシステムおける データ表現(1)
東京工業大学 機械制御システム専攻 山北 昌毅
「データ学習アルゴリズム」 第2章 学習と統計的推測 報告者 佐々木 稔 2003年5月21日 2.1 データと学習
第7章 データベース管理システム 7.1 データベース管理システムの概要 7.2 データベースの格納方式 7.3 問合せ処理.
高山建志 五十嵐健夫 テクスチャ合成の新たな応用と展開 k 情報処理 vol.53 No.6 June 2012 pp
回帰モデル・クラス分類モデルを 評価・比較するための モデルの検証 Model validation
地理情報システム論演習 地理情報システム論演習
補章 時系列モデル入門 ー 計量経済学 ー.
地域の時空間予測と表現 東京大学 社会基盤工学専攻 清水英範
VI-5 線分布(ネットワークデータ)を分析する方法
母集団と標本:基本概念 母集団パラメーターと標本統計量 標本比率の標本分布
線形フィルタと畳み込み積分 マスクによる画像のフィルタリング 1.入力画像中の関心の画素のまわりの画素値
地理情報システム論 第14回 ラスタ形式による空間的演算 GISの応用(2)~土地利用の予測
第9回 GISで空間分布を捉える デジタル地理情報の構造 GISでみる地理分布 地理分布の計測 地理分布の理解.
相関分析.
データ解析 静岡大学工学部 安藤和敏
村山祐司 序章 地理情報科学概論 2. 基本的な用語の定義 村山祐司
高次元データの解析 -平均ベクトルに関する検定統計量の 漸近分布に対する共分散構造の影響-
VII. 空間モデル.
GISとは・・・ データ処理演習(笹谷担当).
第11回   ディジタル画像(2) ディジタル画像処理(2)
モデルの適用範囲 モデルの適用領域 Applicability Domain (AD)
IV. GISデータの変換・統合.
第5章 特徴の評価とベイズ誤り確率 5.5 ベイズ誤り確率の推定法 [1] 誤識別率の偏りと分散 [2] ベイズ誤り確率の上限および下限
地理情報システム論 厳 網林 2005年度.
数量分析 第2回 データ解析技法とソフトウェア
予測に用いる数学 2004/05/07 ide.
地理情報システム論(総)/ 国民経済計算論(商)
Data Clustering: A Review
貞広幸雄 地理情報システム論 貞広幸雄
部分的最小二乗回帰 Partial Least Squares Regression PLS
早稲田大学大学院商学研究科 2014年12月10日 大塚忠義
不完全な定点観測から 真の不正ホストの分布が分かるか?
データの型 量的データ 質的データ 数字で表現されるデータ 身長、年収、得点 カテゴリで表現されるデータ 性別、職種、学歴
地理情報システム論 第8回 GISによる処理技法(1) データの入手と座標系の変換 ベクタ形式における空間的演算(1)
第4章 識別部の設計 4-5 識別部の最適化 発表日:2003年5月16日 発表者:時田 陽一
第3章 線形回帰モデル 修士1年 山田 孝太郎.
株式会社テクノブレイン 景観CG作成の種類と手順について.
第5回 確率変数の共分散 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
ヒューマン・インターフェースとしてのGIS —空間データ変換から地図表現へ—
地理情報システム論(総)/ 国民経済計算論(商)
地理情報システム論 第4回 コンピュータシステムおける データ表現(2)
GISとは・・・ デザイン演習A(笹谷担当).
ポッツスピン型隠れ変数による画像領域分割
プログラミング論 相関
回帰分析入門 経済データ解析 2011年度.
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
確率的フィルタリングを用いた アンサンブル学習の統計力学 三好 誠司 岡田 真人 神 戸 高 専 東 大, 理 研
グラフ-ベクトル変換を用いたグラフ構造表現による一般物体認識
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

第2章 空間データの取得と作成 6. データの統合と修正 2011年1月27日 第2章 空間データの取得と作成 6. データの統合と修正 河端 瑞貴 mizuki@csis.u-tokyo.ac.jp

ここで学ぶこと デジタイジングなどの図形入力や観察データに欠落があったり、未知のデータがあったりする場合の、データの統合や修正について学ぶ。 接合(モザイク(mosaic)) ベクタ編集(エッジマッチングなど) 欠落情報の補足(統計的手法,補間の概念)

接合(モザイク(mosaic)) 複数のラスタデータをマージしたデータセットを作成 広い地域を分析する場合、しばしば複数枚の空中写真や衛星画像を切り貼り、修正して、一枚の大きな画像データにする必要がある。 モザイク化

ベクタ編集(エッジマッチングなど) デジタイジングなどの図形入力のミスを修正する。 入力ミスの例:アンダーシュート、オーバーシュート、スパイク、オーバーラップ、エッジアンマッチング、ポイントアンマッチングなど 誤りのデータは、線分の削除、新しい点・線データの入力、個別図形データそのものの削除、新しい図形データの追加などの修正を行う。 入力ミスの発見・修正には、基本的にオペレータ自身の目視による点検が必要となる

入力ミス:オーバーシュートとアンダーシュートの修正 アンダーシュートとは、別のラインと交差するには長さが足りないラインのことです。 オーバーシュートとは、交点を超えてデジタイズされた場所 CADプログラムからインポートされた線画で、またはラインフィーチャーの接続制御にスナップを使用しなかった場合によく発生します。 スナップすべきラインに接続するまでアンダーシュートを延長することにより、このエラーを解決します。 ラインを延長して修正 ラインを切り詰めて修正

ベクタ編集 中庭が入力されていなかった建物内に、中庭を入力

ベクタ編集 外枠、中庭が入力されていない建物内に外枠、中庭を入力

ベクタ編集 2つに分割して入力されていた建物を一つのポリゴンに修正 マージ

ベクタ編集:エッジマッチング ある範囲のフィーチャのエッジを隣接範囲の該当するフィーチャに揃える 修正前 修正後

欠落情報の補足(統計的手法,補間の概念) データに欠落があったり、未調査のデータがあったりする場合に、既知のデータからデータを補足すること 空間補間(spatial interpolation):データを取得した地域内でデータのない地点の値を推定する方法。内挿ともいう。

空間補間、内挿 (spatial interpoliation) 値が既知の地点のデータをもとに、値が未知の地点の値を推定すること 補間法:IDW(逆距離加重法)、スプライン、クリギングなど 既知の地価のポイントデータ ポイントから補間された地価のラスタデータ

補間の前提 空間的に近い観測点のデータは類似の特性を持つ傾向がある ある地点の属性地は、その近傍にある地点の属性値に依存している

空間補間の活用例 測候所や直接測量のない場所における降雨量、気温等の推定 DEM(Digital Elevation Model)の観測地点以外の場所における標高値の推定 ラスターデータを他のグリッドに変換する際の再サンプリング 観測地点間のどこに等高線を引くかの推測 Lonley, et al. (2005, p.333)

補完法の例:スプライン法 サーフェス全体の曲率を最小にする数学関数を用いて推定 ゴム製のシートをフィットしたサーフェスのイメージ 緩やかなサーフェスのデータに適している。 外れ値の影響大きい

補完法の例:逆距離加重法 (IDW:Inverse Distance Weighted) 各セルの近傍にあるサンプルデータポイントの値を平均することによりそのセルの値を推定する方法。 推定するセルの中心にポイントが近いほど、加重が大きくなる。 一様に分布している地点のデータに適している。 外れ値の影響大きい

補完法の例:クリギング 値が既知の地点 のデータから地球統計学的手法により未知の地点の値を推定 観測されたデータの共分散を距離で表した共分散関数によって空間相関を構造化することによって任意地点の空間予測する手法

クリギング クリギングは、Z(Xo)の推定値を以下のように求める。 加重には観測値から得られたバリオグラム、共分散関数を利用する。 加重は、観測地点の自己相関モデル、予測地点までの距離、予測地点周囲の観測値間の空間的関係によって決まる。 Z(X0): 地点 i の観測値 λi:地点iの観測値の加重 X0:予測地点の推定値 n:観測値の個数

いろいろなクリギング 通常クリギング(ordinary kriging) 普遍クリギング(universal kriging) バリオグラムを用いて予測 普遍クリギング(universal kriging) 通常クリギング+可変トレンド 単純クリギング(simple kriging) 既知のトレンド 指示クリギング(indicator kriging) 離散変数を利用 共クリギング(cokriging) ある変数と高い空間相関を持つ補助変数を利用して、変数内の空間相関+変数間の空間相関を構造化

2009年公示地価データ (東京23区)

IDW、Splineによる内挿 IDW スプライン 乗数:2 検索半径タイプ:可変 検索半径:12ポイント 出力セルサイズ:50m スプライン手法:レギュラー 加重:0.1 ポイント数:12 出力セルサイズ:50m

クリギングによる内挿 通常クリギング 普遍クリギング セミバリオグラムモデル:Spherical 検索半径タイプ:可変 検索半径:50ポイント 出力セルサイズ:50m セミバリオグラムモデル:Linear with Lineaar drift 検索半径タイプ:可変 検索半径:50ポイント 出力セルサイズ:50m

参考文献 井上亮(2009)時空間クリギングによる東京23 区・全用途地域を対象とした公示地価の分布と変遷の視覚化」GIS-理論と応用,17(1),13-24. 高橋昭子(2010)「基礎からのArcGIS第4章空間データの取得」<http://teku2.csis.u-tokyo.ac.jp/> 長谷川均(1998)『リモートセンシングデータ解析の基礎』古今書院. 町田聡(2004)『新訂 GIS・地理情報システムー入門&マスター』山海堂. Longley, P. A., Goodchild, M. F., Maguire, D. J., Rhind, D. W. (2005) Geographic Information Systems and Science, Second Edition. West Sussex, England: John Wiley & Sons. Wachernagel, H. (2003) Multivariate Geostatistics: An Introduction with Applications, 2nd Edition. Berlin: Springer.