数理統計学(第八回） 統計的仮説検定とは？

Presentation on theme: "数理統計学(第八回） 統計的仮説検定とは？"— Presentation transcript:

1 数理統計学(第八回） 統計的仮説検定とは？
浜田知久馬 数理統計学第８回

2 統計学(statistics)は star(*)tistics（天文学）か？
多くの実験者は 　統計解析を望遠鏡だと思っている． 彼らは，星を見つけることに，まるで天文学者のように夢中になり，星が付いた，付かないで一喜一憂する． 数理統計学第８回

3 統計学(statistics)は star(*)tistics（天文学）か？
数理統計学第８回

4 検定(statistical test)とは？
多くの研究者は 　 統計解析＝検定　と考えている． 薬物の薬効の有無などの二者択一の判定を行う方法 e.g.　ｔ、Ｆ、U、ｶｲ２乗、Ｚ、Ｈ検定 　Fisher、Wilcoxon、Welch、Bartlett 全ての検定の結果はｐ値で表される． 数理統計学第８回

5 知っている検定の名前を 教えてください 英語検定 簿記検定 それに車検ね 数理統計学第８回

6 統計的検定：有り難い方法 白黒はっきりする． 希なこと→有り難い→意味ある（有意） 有り難さ：確率ｐ値によって評価
ｐ値が小さい→有り難い（有意） ｐ値が大きい→珍しくない（意味なし） 数理統計学第８回

7 ある点からある直線に垂線は1つしか引けないことを証明せよ
背理法による証明 1）証明したいこととは反対の仮説を立てる. 　（ある直線に2本以上の垂線が引ける） 2）1）の仮説の下で矛盾を探す. 3）矛盾が見つかれば,1）の仮説を捨てる. 　（ある直線に1つしか垂線は引けない） 数理統計学第８回

8 三角形の内角の和が180度を越える 数理統計学第８回

9 検定の手順 １）差がないという仮説（帰無仮説）を立てる ２） 検定統計量を計算し、仮説の下でデータ の差が偶然で生じる確率（ｐ値）を計算
３）ｐ値があらかじめ決めた値（有意水準）以下であれば、データの差に意味がある（有意）とみなす 数理統計学第８回

10 帰無仮説と対立仮説 帰無仮説（null hypothesis) 差がないとする仮説，記号H0で表す. H0：μ1＝ μ2
対立仮説（alternative hypothesis) 差があるとする仮説，記号H1で表す 　　 H１：μ1≠ μ2 μ1 ：対照群の母平均 μ2 ：薬剤群の母平均 数理統計学第８回

11 検定の手順 ｲｶｻﾏｺｲﾝの例 コインの表と裏が出る確率が等しいという仮説を立てる． 実験を行う（表が５回連続して出る）．
１）の仮説の下で２）の事象が生じる確率（ｐ値）を計算する（0.5の５乗＝ ) ５％水準でコインは表の方が出やすいと結論を出す． 数理統計学第８回

12 数理統計学第８回

13 ２種類の過誤 真実 検定結果 差なし 差なし ○ 差なし 差あり αエラー 第１種の過誤 差あり 差なし βエラー 第２種の過誤
真実　　検定結果 差なし　差なし　　　○　　　　 差なし　差あり　　　αエラー　第１種の過誤 差あり　差なし　　　βエラー　第２種の過誤 差あり　差あり　　　○ ・αとβの双方が小さいのがよい判定方式 ・αとβを両方一辺に小さくはできない 数理統計学第８回

14 数理統計学第８回

15 結婚は人生の墓場か天国か？ 数理統計学第８回

16 ｐ値と有意水準 ｐ値（ｐｒｏｂａｂｉｌｉｔｙ） 偶然によって差が生じる確率 ｐ値大：偶然でも起こりそうな差
ｐ値（ｐｒｏｂａｂｉｌｉｔｙ） 偶然によって差が生じる確率 ｐ値大：偶然でも起こりそうな差 ｐ値小：偶然では起こりそうにない差 偶然を越えた意味ある（有意）差 有意水準（significant level） ｐ値が小さいかどうかを判断する基準 （通常は5%に設定されることが多い） 数理統計学第８回

17 ｐ値と第１種の過誤α ｐ値：本当は差がないときに，偶然で 差が生じる確率 検定：ｐ値<0.05のとき有意と判定
αエラー：誤って差があるといってしまう確率は，検定を行なえば，0.05以下に抑えることができる． βエラー:Nと検出したい差の大きさに 依存する 数理統計学第８回

18 検定に共通の注意 １）検定結果の表記 ２）統計的有意性と生物学的有意性 ３）有意水準はなぜ５％か？ ４）片側検定と両側検定 数理統計学第８回

19 １）検定結果の表記 習慣 *：p<0.05 **： p<0.01 1.ｐ値の値そのものを示す方がよい.
・ｐ=0.009とｐ=0.0001では解釈が異なる. ・ｐ値が示されていれば，事後的に有意水準 　を変更することが可能 2.ｐ値の有効桁は少数第３位または第４位 3.検定の種類と仮説の方向は明記 数理統計学第８回

20 検定統計量による有意性の判定 コンピュータが発達する前はｐ値の計算は困難だった. 検定統計量 大 ⇒ ｐ値 小 検定統計量が棄却限界値を比較
検定統計量　大　⇒　ｐ値　小 検定統計量が棄却限界値を比較 　　検定統計量が5%棄却限界値を越える 　　⇒ｐ値＜0.05 現在では，Excel等の関数を利用してｐ値が 直接計算可能 数理統計学第８回

21 ２）統計学的 vs.生物学的有意性 標準薬を対照とした降圧薬の試験 Δ ｐ値 Ｎ -20 <0.05 100 適切な症例数
Δ ｐ値 Ｎ < 適切な症例数 > 適切な症例数 > Ｎが小さすぎた < Ｎが大きすぎた 数理統計学第８回

22 ３）有意水準はなぜ５％か？ ・検定は農事試験から生まれた. 実験は年１回，１生のうち２０回程度， １回位(1/20)は過ちを許そう.
・人間が偶然を判断する基準にあう. 　表が続けて出る確率：3.125% ・ときには５％以外のことも 背景因子の偏り，予備検定，モデル選択 数理統計学第８回

23 R.A.Fisher 数理統計学第８回

24 ４）片側検定と両側検定 帰無仮説は１つだが対立仮説はたくさんある ・イカサマコインの場合 帰無仮説 H０：π表＝ π裏＝0.5
数理統計学第８回

25 ４）片側検定と両側検定 対立仮説の方向 表の方がでやすい： π表＞ π裏 裏の方がでやすい： π表＜ π裏
両側検定　H１：π表＞ π裏　or　 π表＜ π裏 上側検定　H１：π表＞ π裏　 下側検定　H１：π表＜ π裏　 数理統計学第８回

26 ４）片側検定と両側検定 イカサマコインの例 （表が５回） 上側ｐ値：確率（表５回）=0.03125 下側ｐ値：１
イカサマコインの例　（表が５回） 上側ｐ値：確率（表５回）= 下側ｐ値：１ 両側ｐ値：確率（表５回）+確率（裏５回）=0.0625 両側検定の方が方向を欲張るので，有意になりにくい. （多くの場合，ｐ値は片側の２倍） 数理統計学第８回

27 ダーウィンの植物の丈の データ（単位インチ）
─────────────────────────────── 　Ｎｏ．自家受精 　他家受精 Ｎｏ．自家受精 　他家受精 　 1　　　17.375　　　 　 　9　　16.5　　 　 2　　　20.375　　　 12 　　　 　 18　　　　21.625 　 3　　　20　　　　　 　 　　 　 4　　　20　　　　　 　 18　　　　21 　 5　　　18.375　　　 　 　　 　 6　　　18.625　　　 　 　　　 23 　 7　　　18.625　　　 　 18　　　 12 　 8　　　15.25 　　　 　平均　　17.708　　 　20.192 標準偏差　 2.024　　　 数理統計学第８回

28 散布図 25 + | | C | B 20 + C A | A | G A y | A | A 15 + A 10 +
数理統計学第８回

29 層別箱髭図 数理統計学第８回

30 仮説 研究仮説：他家受精は自家受精と比べて，成長がよいか？ 自家受精群と他家受精群の母集団の平均を， μＡ， μＢとする．
帰無仮説H0 ： μＡ＝μＢ　⇒ 　μＡ－μＢ＝0 対立仮説H1 ： μＡ≠μＢ　⇒ 　μＡ－μＢ≠ 0 数理統計学第８回

31 仮説検定という方式 仮説Ｈ0に対し，ある統計量と限界値を予め用意しておく. 検定統計量，棄却限界値 統計量が限界値より大きかったら，Ｈ0を
　検定統計量，棄却限界値 統計量が限界値より大きかったら，Ｈ0を 　否定(棄却）する　⇒ｐ値がα水準以下 　そうでなければＨ0を受容する． 数理統計学第８回

32 仮説検定という方式 ・第1種の過誤をα以下にする．(必要条件） 第1種の過誤＝｛Ｈ0が真なのにそれを 棄却する誤り(の確率）｝
　　第1種の過誤＝｛Ｈ0が真なのにそれを 　　棄却する誤り(の確率）｝　 ・第2種の過誤がなるべく小さい手法を選ぶ. 　　第2種の過誤＝｛Ｈ1が真なのにＨ0を 　　受容する誤り(の確率）｝=1－検出力　 数理統計学第８回

33 検定の構成法 帰無仮説と対立仮説が単純な場合 ネイマン・ピアソンの基本定理の利用 (応用可能な場合はかなり限定） 原理的な構成法 尤度比検定
　ネイマン・ピアソンの基本定理の利用 　(応用可能な場合はかなり限定） 原理的な構成法 　尤度比検定　 　推定量の方法 　直感的な方法(ノンパラ法） 数理統計学第８回

34 Neyman-Pearson’s fundamental lemma
帰無仮説と対立仮説の下での確率の比(尤度比）に基づいて検定を構成すれば,最も性能がよくなる． 確率密度関数ｆ(ｙ,θ) ・帰無仮説H0：θ=θ0 ・対立仮説H1：θ=θ1 検定統計量ｔ（Y）として, ・ 数理統計学第８回

35 例えていうと シルエットクイズ 数理統計学第８回

36 松嶋菜々子 v.s. 山田花子 シルエットを見て,デートするかしないかを判断 松嶋菜々子（H1)であればデートしたい.
　　　　　　　　　　　　　　判定(decision) シルエットの主　　デートする　　デートしない 松嶋菜々子　　　　　○　　　　　　　βエラー 山田花子　　　　　　 αエラー　　　○　 数理統計学第８回

37 このとき,最もよい判定方式は？ ネイマン・ピアソンの基本定理によれば, シルエットから P(M)=松嶋菜々子である確率
P(Y)=山田花子である確率 を見積もり, この比P(M)/ P(Y)がある値を越えるか,否かで判定する. 数理統計学第８回

38 ネイマン・ピアソンの基本定理 有意水準αの最強力検定(βエラーが最小）, ≦ｃ ： H0を保留 ＞ｃ ： H0を棄却 ｃは
Pr(ｔ（Y）＞ｃ｜θ=θ0)＝α を満たす値 数理統計学第８回

39 ｙ＝910, θ0=925, θ1=900 数理統計学第８回

40 検定関数δ (Y) H0を保留する場合：δ (Y) ＝0 H0を棄却する場合：δ (Y) ＝1 ①をαに抑えつつ, ②を最大にするのが
最強力検定 E[δ (Y)]=0･Pr[δ (Y) ＝0]＋1･Pr[δ (Y) ＝1] ①E[δ (Y)｜θ0]＝∫δ (Y)ｆ(Y,θ0)ｄY ＝αエラーの確率 ②E[δ (Y)｜θ1]＝∫δ (Y)ｆ(Y,θ1)ｄY ＝検出力　(１－βエラーの確率） 数理統計学第８回

41 ネイマン・ピアソンの基本定理 検定関数δnp(Y) δnp(Y)＝0： ≦ｃ： H0を保留 δnp(Y)＝1： ＞ｃ： H0を棄却
最強力検定 必要条件：E[δnp (Y)｜θ0] ＝ E[δ (Y)｜θ0]＝α　 十分条件：E[δnp (Y)｜θ1]－E[δ (Y)｜θ1] ≧0 数理統計学第８回

42 ネイマン・ピアソンの基本定理 ∫(δnp(Y)－δ(Y))(ｆ(Y,θ1)－ｃｆ(Y,θ0)ｄY≧0 が成り立つ.
ｆ(Y,θ1)＞ｃｆ(Y,θ0)のときδnp(Y)＝1 またδ(Y)=0 or 1なので,被積分関数は非負 ｆ(Y,θ1)≦ｃｆ(Y,θ0)のときδnp(Y)＝0 数理統計学第８回

43 ネイマン・ピアソンの基本定理 ところで∫δ (Y)ｆ(Y,θ1)ｄY＝検出力Pwなので
Pwnp－Pw＝∫ (δnp(Y)－δ(Y))ｆ(Y,θ1)ｄY ≧ｃ∫ (δnp(Y)－δ(Y))ｆ(Y,θ0)ｄY ＝ ｃE[δnp (Y)｜θ0]－ｃE[δ (Y)｜θ0] ＝ｃ(α－E[δ (Y)｜θ0]) ＝0 任意の検定関数より, δnp(Y)の検出力が高いので, δnp(Y)は最強力検定 数理統計学第８回

44 ネイマン・ピアソンの基本定理の適用 ダーウィンのデータ Ｈ0：μ＝μ０　Ｈ1：μ＝μ1の検定 　　(σ２既知,　 μ０＜ μ1)　 数理統計学第８回

45 f(μ)＝ｆ(Y１) ・ｆ(Y2) ・・・ｆ(Yｎ) ＝Πｆ(Yi)
正規分布の確率密度関数 f(μ)＝ｆ(Y１) ・ｆ(Y2) ・・・ｆ(Yｎ) ＝Πｆ(Yi) 数理統計学第８回

46 尤度比の計算 数理統計学第８回

47 尤度比の計算 数理統計学第８回

48 尤度比の計算 ネイマン・ピアソンの基本定理　⇒ 平均値がある値ｃを超えればＨ0を棄却する. C’’は を満たす値 数理統計学第８回

49 C‘‘の計算 有意水準αの最強力検定 この検定方式はμ1の値によらない. したがって,任意のμ1に関する一様最強力検定になる.
数理統計学第８回

50 最強力検定の適用例 Ｈ0：μ０＝17の検定(σ=3) 平均：17.7 平均：20.1 Ｈ0を保留 Ｈ0を棄却 自家受精群 他家受精群
自家受精群 　　　　　他家受精群 平均：17.7　　　 平均：20.1 Ｈ0を保留　　　 Ｈ0を棄却　　 　　 数理統計学第８回

51 演習 Yが二項分布B（N,π）にしたがう確率変数とする. f(π)=NCY･πY(1-π)N-Y
Ｈ0：π＝π0　Ｈ1：π＝π1の検定の最強力検定を考える.　(π1＞π０) 1)尤度の比(f(π1)／f(π0))を計算すること 2)Y＝6,N＝10として, π0＝0.5,, π1 ＝0.9のときの尤度の比を計算すること 3)最強力検定はどのような検定に帰着するか 　述べること 数理統計学第８回