土木計画学 第3回:10月19日 調査データの統計処理と分析2 担当:榊原 弘之
標本調査において,母集団の平均や分散などを直接知ることは できない. 母集団の平均値(母平均) 母集団の分散(母分散) 母集団中のある値の比率(母比率) p Sample 標本平均 標本分散(不偏分散) 標本中の比率 P ? わからない! Population
標本から母集団のパラメータを推定するための手法 統計的推定手法 ( Statistical estimation ) 標本調査における利用法 ・必要な標本数の算出 ・推定値の信頼区間の算定 統計的手法を用いれば,標本調査でも十分実用に耐える 結果を出すことができる.
統計理論の復習 収集されたデータから特性を明らかにする. 度数分布表 (Frequency table) データが取り得る値をいくつかの区間に分けておき(カテゴライズ), 各カテゴリーに該当するデータの個数(度数)を表にまとめる. 身長度数 140cm ~ 150cm 2 150cm ~ 160cm 8 160cm ~ 170cm cm ~ 180cm cm ~ 190cm 3 ヒストグラム:度数分布を度数を高さとする長方形で表したグラフ (Histogram)
標本平均 (sample mean) i 番目の観測値 メディアン(中央値) (median)m モード (mode) (最頻値) 代表値の例 i 番目の観測値の度数 50 パーセンタイル値 度数が最大となる観測値 パーセンタイル (percentile)
散布度( dispersion )の指標 分散 (variance) 2 乗の平均-平均の 2 乗 標準偏差 (standard deviation) 変動係数 (coefficient of variation)
共分散 (covariance) 相関係数 (correlation coefficient) 複数の調査項目間の相関の有無の検討 クロス集計表( p80 )
大数の法則 (law of large numbers) 同一の確率分布(期待値 μ ,標準偏差 σ )に従う n 個の 確率変数 X 1,X 2,…,X n の標本平均 は, n が大きくなれば,限りなく μ に近づく. 後の統計的推測に重要 観測数を増やせば,より正確な期待値の推定が可能となる.
さいころの目の標本平均の推移 (エクセルによる計算) 回数が増えるほど,母平均 3.5 に収束
正規分布(ガウス分布) (normal distribution) 確率密度関数 期待値 分散 期待値 0 ,分散 1 の場合 標準正規分布 を正規分布表に当てはめる 配布資料参照 正規分布の 分布関数の値
確率密度関数 分布関数
正規分布が重要な理由 1.観測誤差の分布がよく適合する. 平均を中心に,左右に同じように 広がっている 例1:部材の強度 平均よりも強い部材,弱い部材が存在 例2:離散選択モデル (個人が複数の選択肢から一つを選択する過程をモデル化) 誤差が正規分布 プロビットモデル
正規分布が重要な理由 2.中心極限定理 (central limit theorem) 同一の確率分布(期待値 μ ,標準偏差 σ )に従う n 個の 確率変数 X 1,X 2,…,X n の標本平均 は, n が大きくなれば,正規分布 N(μ,σ 2 /n) に従う. X 1,X 2,…,Xn がどのような確率分布に従う場合も成立する. 後の統計的推測に重要
母集団:直接すべて調べることができない集団 標本:調査可能な,限られた数の集団 母集団の一部 母数: 母集団の特性値 (平均,分散など) 統計的推計手法:標本から母数を推定するための手法 正確に 真の母数を 知ることはできない
大数の法則 同一の確率分布(期待値 μ ,標準偏差 σ )に従う n 個の 確率変数 X 1,X 2,…,X n の標本平均は, n が大きくなれば, 限りなく μ に近づく. 観測数を増やせば,より正確な期待値の推定が可能となる. 確率的推定の前提:大数の法則と中心極限定理 中心極限定理 同一の確率分布(期待値 μ ,標準偏差 σ )に従う n 個の 確率変数 X 1,X 2,…,X n の標本平均は, n が大きくなれば, 正規分布 N(μ,σ 2 /n) に従う. X 1,X 2,…,X n がどのような確率分布に従う場合も成立する.
不偏推定量 期待値が母数に一致するような推定量 =何度も標本抽出して当該の値を求めることを多数回 繰り返せば目的とする母数に近づいてゆくような推定量 母平均の不偏推定値=標本平均 母分散の不偏推定値
点推定 最尤推定法 母数をある一つの値として推定する 観測値: x 1,x 2,…,x n 母数が θ の場合に, 観測値の組 (x 1,x 2,…,x n ) が 実現する確率 母数 θ のもっともらしさ...尤度関数
「もっともらしさ」が最大となる母数 θ を求める(尤度関数の最大化) 対数尤度関数 実際は対数尤度関数を最大化 よりもの方が標本が生起する確率が大きい の方が母数として現実的(もっともらしい) 最尤推定法