数理統計学(第四回) 分散の性質と重要な法則

Slides:



Advertisements
Similar presentations
数理統計学 西 山. 前回のポイント<ルート N の法則> 1. データ(サンプル)の合計値 正規分布をあてはめる ルート N をかけて標準偏差を求める 2. データ(サンプル)の平均値 正規分布を当てはめる 定理8がポイント ルート N で割って標準偏差を求める.
Advertisements

5 章 標本と統計量の分布 湯浅 直弘. 5-1 母集団と標本 ■ 母集合 今までは確率的なこと これからは,確率や割合がわかっていないとき に, 推定することが目標. 個体:実験や観測を行う 1 つの対象 母集団:個体全部の集合  ・有限な場合:有限母集合 → 1つの箱に入っているねじ.  ・無限な場合:無限母集合.
統計解析第 11 回 第 15 章 有意性検定. 今日学ぶこと 仮説の設定 – 帰無仮説、対立仮説 検定 – 棄却域、有意水準 – 片側検定、両側検定 過誤 – 第 1 種の過誤、第 2 種の過誤、検出力.
Lesson 9. 頻度と分布 §D. 正規分布. 正規分布 Normal Distribution 最もよく使われる連続確率分布 釣り鐘形の曲線 -∽から+ ∽までの値を取る 平均 mean =中央値 median =最頻値 mode 曲線より下の面積は1に等しい.
数理統計学第1回 1 数理統計学 ( 第一回) 確率変数とは? 浜田知久馬. 数理統計学第1回 2 世の中は不確定なことが多い 決まりきったことばかりとは限らない. 予想される値は決まっていてもばらつく. このようなとき,確率変数によって,物事 を確率的に記述できると便利なことが多 い.
土木計画学 第3回:10月19日 調査データの統計処理と分析2 担当:榊原 弘之. 標本調査において,母集団の平均や分散などを直接知ることは できない. 母集団の平均値(母平均) 母集団の分散(母分散) 母集団中のある値の比率(母比率) p Sample 標本平均 標本分散(不偏分散) 標本中の比率.
統計学 第3回 西山. 第2回のまとめ 確率分布=決まっている分布の 形 期待値とは平均計算 平均=合計 ÷ 個数から卒業! 平均=割合 × 値の合計 同じ平均値でも 同じ分散や標準偏差でも.
放射線の計算や測定における統計誤 差 「平均の誤差」とその応用( 1H) 2 項分布、ポアソン分布、ガウス分布 ( 1H ) 最小二乗法( 1H )
●母集団と標本 母集団 標本 母数 母平均、母分散 無作為抽出 標本データの分析(記述統計学) 母集団における状態の推測(推測統計学)
数理統計学(第七回) 線形模型とは? 浜田知久馬 数理統計学第7回.
数理統計学  第9回 西山.
数理統計学(第ニ回) 期待値と分散 浜田知久馬 数理統計学第2回.
第1回 確率変数、確率分布 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
数理統計学(第十回) ノンパラ検定とは?1 浜田知久馬 数理統計学第10回.
数理統計学(第五回) 統計的推測とは? 浜田知久馬 数理統計学第5回.
( ) ( ) 行 列 式 置 換 n文字の置換σ: n個の文字{1,2,・・・,n}から自分自身への1対1の写像 1 2 ・・・ n
det(tA)=Σ sgn(σ)aσ(1)1aσ(2)2・・・aσ(n)n
確率と統計 平成23年12月8日 (徐々に統計へ戻ります).
数理統計学 西 山.
統計解析 第7回 第6章 離散確率分布.
確率・統計Ⅰ 第12回 統計学の基礎1 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
データ解析 静岡大学工学部 安藤和敏
確率・統計Ⅰ 第11回 i.i.d.の和と大数の法則 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
統計学  第7回 西 山.
統計学 11/13(月) 担当:鈴木智也.
統計解析 第9回 第9章 正規分布、第11章 理論分布.
寺尾 敦 青山学院大学社会情報学部 atsushi [at] si.aoyama.ac.jp
大数の法則 平均 m の母集団から n 個のデータ xi をサンプリングする n 個のデータの平均 <x>
11.確率モデル 確率・・・不確実性の経済学や金融やファイナンス で重要 密度関数がある場合に期待値を取る計算を中心に、紹介.
統計学 11/19(月) 担当:鈴木智也.
数理統計学  第8回 第2章のエクササイズ 西山.
数理統計学  第8回 西山.
第7回 二項分布(続き)、幾何分布 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
応用統計学の内容 推測統計学(inferential statistics)   連続型の確率分布   標本分布   統計推定   統計的検定.
      線形写像  線形写像 U,V:R上のベクトル空間 T:UからVへの写像 (1)T(u+v)=T(u)+T(v)  (u,v∈U),
統計解析 第10回 12章 標本抽出、13章 標本分布.
統計数理 石川顕一 10/17 組み合わせと確率 10/24 確率変数と確率分布 10/31 代表的な確率分布
数理統計学(第六回) 最尤推定とは? 浜田知久馬 数理統計学第6回.
数理統計学 第11回 西 山.
第11回 中心極限定理 と 大数の法則 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均
数理統計学 第4回 西山.
第3回 確率変数の平均 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
1.標本平均の特性値 2.母分散既知の標本平均の分布 3.大数法則と中心極限定理
確率・統計Ⅰ 第3回 確率変数の独立性 / 確率変数の平均 ここです! 確率論とは 確率変数、確率分布 確率変数の独立性 / 確率変数の平均
応用統計学の内容 推測統計学(inferential statistics)   連続型の確率分布   標本分布   統計推定   統計的検定.
正規分布確率密度関数.
混合ガウスモデルによる回帰分析および 逆解析 Gaussian Mixture Regression GMR
確率論の基礎 「ロジスティクス工学」 第3章 鞭効果 第4章 確率的在庫モデル 補助資料
情報理工学系研究科 数理情報学専攻 数理第四研究室 博士三年 指導教員: 駒木 文保 准教授 鈴木 大慈 2008年8月14日
Basic Tools B4  八田 直樹.
独立成分分析 (ICA:Independent Component Analysis )
1.標本平均の特性値 2.母分散既知の標本平均の分布 3.大数法則と中心極限定理
標本分散の標本分布 標本分散の統計量   の定義    の性質 分布表の使い方    分布の信頼区間 
東北大学 大学院情報科学研究科 応用情報科学専攻 田中 和之(Kazuyuki Tanaka)
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 報告書の作成 標本デザイン、データ収集
確率と統計 年1月12日(木)講義資料B Version 4.
市場調査の手順 問題の設定 調査方法の決定 データ収集方法の決定 データ収集の実行 データ分析と解釈 報告書の作成 標本デザイン、データ収集
変換されても変換されない頑固ベクトル どうしたら頑固になれるか 頑固なベクトルは何に使える?
パターン認識特論 担当:和田 俊和 部屋 A513 主成分分析
第5回 確率変数の共分散 確率・統計Ⅰ ここです! 確率変数と確率分布 確率変数の同時分布、独立性 確率変数の平均 確率変数の分散
情報工学Ⅱ (第9回) 月曜4限 担当:北川 晃.
数理統計学 西 山.
確率と統計2007(最終回) 平成20年1月17日(木) 東京工科大学 亀田弘之.
◎小堀 智弘,菊池 浩明(東海大学大学院) 寺田 真敏(日立製作所)
数理統計学  第6回 西山.
データ分布の特徴 基準化変量 歪度 尖度.
第3章 統計的推定 (その2) 統計学 2006年度 <修正・補足版>.
統計現象 高嶋 隆一 6/26/2019.
確率と統計 年12月16日(木) Version 3.
混合ガウスモデル Gaussian Mixture Model GMM
Presentation transcript:

数理統計学(第四回) 分散の性質と重要な法則 浜田知久馬 数理統計学第4回

分散についての性質 V[X+Y]=E[(X+Y-μx-μY)2] =E[(X-μx)2+(Y-μx)2 +2 (X-μY) (Y-μY) ] = E[(X-μx)2]+ E[(Y-μY)2]   +2E[(X-μx) (Y-μY)] =V[X]+V[Y]+2・Cov[X,Y] 独立のときは, V[X+Y]=V[X]+V[Y] 数理統計学第4回

分散についての性質 aは定数 V[a+X] = E[(a+X-a-μx)2] =V[X] V[aX]=E[(aX-aμx)2]     =E[a(X-μx)2]     =a2E[(X-μx)2]        =a2 V[X] E[a+X]=a+E[X],  E[aX]=a・E[X], 数理統計学第4回

分散についての性質 Z=a1X1+ a2X2+・・・+ apXp V[Z]=ΣΣaiajCov[Xi,Xj] =Σai2 V[Xi]+ΣΣ2aiajCov[Xi, Xj]                i < j X1, X2, ・・・ ,Xpが互いに独立の場合 V[Z] =Σai2 V[Xi] =a12V[X1]+a22V[X2]+・・・+ ap2V[Xp] (分散の加法性) 数理統計学第4回

分散についての性質 Z=a1X1+ a2X2 V[Z]= V[a1X1+ a2X2] = E[(a1X1+ a2X2 - a1μ1- a2μ2)2] = E[(a1X1- a1μ1 + a2X2 - a1μ2)2] = E[(a1X1- a1μ1)2 ] + E[(a2X2- a2μ2)2 ] +2E[(a1X1- a1μ1)(a2X2- a2μ2) ] = a12V[X1]+a22V[X2] +2a1a2Cov[X1, X2] 数理統計学第4回

分散・共分散行列 3変数の場合 V[X1] Cov[X1, X2] Cov[X1, X3] V= Cov[X2, X1]   V[X2]     Cov[X2, X3] Cov[X3, X1] Cov[X3, X2]   V[X3] 一般にp変数ある場合, 分散・共分散行列はp×pの対称行列になる. 数理統計学第4回

行列表現 aT=[a1,a2,・・・, ap] a:p行のベクトル xT=[X1,X2,・・・,Xp] x:p行のベクトル V:分散・共分散行列(p×p)  Z=aTx V[Z]=aT Va Z=a1X1+ a2X2+ a3X3 の場合について V[Z]を書き下せ. 数理統計学第4回

Z=a1X1+ a2X2+ a3X3の分散 Z=a1X1+ a2X2+ a3X3 V[Z]=aT Va =a12V[X1]+ a1a2Cov[X1,X2]+ a1a3Cov[X1,X3] +a2a1Cov[X2,X1]+ a22V[X2]+a2a3Cov[X2,X3] +a3a1Cov[X3,X1]+ a3a2Cov[X3,X2]+ a32V[X3] 数理統計学第4回

共分散の計算 Z1=a1X1+ a2X2+ ・・・+a3X3=aTx Z2=b1X1+b2X2+ ・・・+b3X3=bTx のとき Cov[Z1,Z2]= Cov[aTx,bTx] =ΣaibjCov[Xi,Xj] =aT Vb V[Z1]=Cov[aTx,aTx] =aT Va 数理統計学第4回

共分散の計算 Z1=a1X1+ a2X2+ a3X3 Z1=b1X1+ b2X2+ b3X3 Cov[Z1,Z2]=aT Vb =a1b1V[X1]+ a1b2Cov[X1,X2]+ a1b3Cov[X1,X3] +a2b1Cov[X2,X1]+ a2b2V[X2]+a2b3Cov[X2,X3] +a3b1Cov[X3,X1]+ a3b2Cov[X3,X2]+ a3b3V[X3] 数理統計学第4回

分散の加法性の応用 平均値の分散は? X1, X2, ・・・ ,Xnが互いに独立に分散σ2の 分布にしたがうとき 数理統計学第4回

分散の加法性の応用 E[X]=0,V[X]=32=9 E[Y]=0,V[Y]=42=16 でかつXとYが独立のとき X+Yの期待値と分散は? 数理統計学第4回

乱数による確認実験 data data; do i=1 to 1000; x=3*rannor(5963); y=4*rannor(5963); z1=x+y;z2=x-y;output; end; proc means mean var std maxdec=2;run; 数理統計学第4回

要約統計量 変数 平均値 分散 標準偏差 --------------------------------- 変数 平均値 分散 標準偏差 --------------------------------- x 0.05 8.72 2.95 y -0.05 16.07 4.01 z1 0.01 25.95 5.09 z2 0.10 23.65 4.86 ---------------------------------- 数理統計学第4回

演習問題 X1,X2,・・・,X6が確率変数でそれぞれ 独立に正規分布N(μ,σ2)に従っているとき,1)~7)の期待値と分散を示せ. 0) Xi: 解答例 期待値μ,分散σ2 数理統計学第4回

演習問題 数理統計学第4回

中心極限定理 Central Limit Theorem 多くの分布が一山分布になるのはなぜだろうか? 例)センター入試,身長,血圧 中心:分布の中心,平均値は 極限:nを大きくすると 正規分布にしたがう. 「和や平均値の分布は山型の分布にしたがう」 数理統計学第4回

平均値の2つの性質とSE 1)平均値の分散(バラツキ)は生データの1/N,標準偏差に直せば1/√Nになる. 2)Nがある程度大きくなれば,平均値の分布は正規分布になる. 数理統計学第4回

乱数実験 A)0,1の一様分布(0~1の間を等しい確率でとる)にしたがう乱数を1万個発生さる. B)一様分布にしたがう乱数を4万個発生させ,4個づつ組にして平均値を計1万個計算する. C)一様分布にしたがう乱数を9万個発生させ,9個づつ組にして1万個の平均値を計算する. 数理統計学第4回

生データのヒストグラム A 0.00 0.30 0.60 0.90 Y1 200 400 度 数 数理統計学第4回

4個の平均のヒストグラム B 0.00 0.30 0.60 0.90 Y4 500 1000 度 数 数理統計学第4回

9個の平均のヒストグラム C 0.00 0.30 0.60 0.90 Y9 500 1000 1500 度 数 数理統計学第4回

実験結果のまとめ 平均値 標準偏差 分散 A)生データ 0.499 0.289 0.0838         平均値 標準偏差 分散 A)生データ 0.499 0.289 0.0838 B)4個の平均 0.499  0.144 0.0206 C)9個の平均 0.500 0.095 0.00906 数理統計学第4回

大数の法則(law of large numbers) 平均値はnを大きくすると,真の値に収束する. 平均値→E(X)=μ (n→∞) limP(|平均値-μ|≧ε)=0 n→∞ マルコフの不等式(Markov’s inequality) チェビシェフの不等式(Chebyshev’s inequality) 数理統計学第4回

マルコフの不等式 X≧0:非負の確率変数 c>0:正の定数 P(X ≧c)≦E(X)/c 例)交通事故による死亡が10を越える確率は? Y=0 if X<c    c if X ≧ c 常にY≦Xなので→ E(Y)≦E(X) E(Y)=0×P(Y=0)+c×P(Y=c)=c×P(X ≧ c) E(Y)=c×P(X ≧ c) ≦E(X) 数理統計学第4回

マルコフの不等式 Y=X Y c c X 数理統計学第4回

マルコフの不等式の応用 宝くじで1等2億円が当たる確率は? X:宝くじの賞金金額 P(X ≧ 2億円) E(X)=150円,c= 2億円 = 150円/ 2億円=1/133万 正確な確率は1/500万 数理統計学第4回

チェビシェフの不等式 E(X)=μ,V(X)=σ2 P(|X-μ| ≧c)≦σ2/c2 Y=( X-μ)2とおいてマルコフの不等式を適用 P(Y ≧c2 )≦E(Y)/c2 = σ2 /c2 Y ≧c2 ⇔ |X-μ| ≧c なので P(Y ≧c2 ) =P(|X-μ| ≧c) 数理統計学第4回

チェビシェフの不等式の意味 σ2=1のとき c チェビシェフの上限 正規分布 1 1 0.32 2 0.25(1/22) 0.05 c  チェビシェフの上限  正規分布 1     1           0.32  2     0.25(1/22)      0.05 3     0.11(1/32)      0.003 4     0.06(1/42)      <0.0001 数理統計学第4回

日本人身長の例(浜田世代) 男性 平均:170.1 SD:5.6 単位(cm) 平均±SD :164.5~175.7 数理統計学第4回

日本人身長の例(浜田世代) 女性 平均:157.3 SD:5.0 単位(cm) 平均±SD :152.3~162.3 数理統計学第4回

大数の法則   にチェビシェフの不等式を適用すると n→∞のとき右辺は0に収束するから 数理統計学第4回