第4章 統計的検定 統計学　2013年度.

Presentation on theme: "第4章 統計的検定 統計学　2013年度."— Presentation transcript:

1 第4章 統計的検定 統計学　2013年度

2 Ⅰ 仮説検定の考え方 Ⅱ 1つの標本にもとづく検定 Ⅲ 2つの標本にもとづく検定 a) 仮説の設定 b) 2種類の誤り c) 仮説検定の手順
Ⅰ　仮説検定の考え方 a)　仮説の設定 1)　検定仮説、対立仮説 2)　片側検定、両側検定 b)　2種類の誤り c)　仮説検定の手順 Ⅱ　1つの標本にもとづく検定 a)　母平均の検定 1)　母分散が既知の場合 2)　母分散が未知の場合 b)　母比率の検定 Ⅲ　2つの標本にもとづく検定 a)　母平均の差の検定 1)　母分散がともに分かっている場合 2)　母分散は分からないが、等しいとみなしてよい場合 ※　等分散の検定 3)　母分散について全く分からない場合 b)　母比率の差の検定

3 Ⅰ 仮説検定の考え方 次のような問題を考える。 2012年のセンター試験、英語の平均点は124点であった。
Ⅰ　仮説検定の考え方 次のような問題を考える。 2012年のセンター試験、英語の平均点は124点であった。 T高校では3年生全員がセンター試験を受験したが、受験生の中から25人を選んで調査したところ、その平均点は135点であった。 T高校の生徒の英語の試験の成績は、全受験者平均より良いといえるだろうか。 　⇒　この疑問に対し、統計的に答える方法が統計的検定 母集団（T高校3年生全員） × 標本（n=25） × × × × × × × × × 標本平均x=135 母平均μ 検定(124点より良いかどうか)

4 a)　仮説の設定 1)　検定仮説、対立仮説 この問題において、「T高校の生徒の英語の成績は全受験者平均と変わらない」のか、 「T高校の生徒の英語の成績は全受験者平均より高い」のかが知りたいことである。 T高校の受験生全体の英語の平均点をμとあらわすと、 H0:　μ=124 H1:　μ>124 　　という二者択一の仮説を考え、標本の情報によっていずれか一方の仮説を採択する。

5 検定仮説と対立仮説は、同時に成り立つことはなく、その2つですべての状況をあらわしている。
検定仮説（H0）　検定したい状況を表したもの。否定されることを目的とした仮説の設定をおこなうことがあるので、帰無仮説といわれることもある。（この場合、T高校としては「全受験者平均より良い」という結論を出したいので、この仮説は否定してほしい） 対立仮説（H1）　検定仮説と反対の状況をあらわしたもの。 　 検定仮説と対立仮説は、同時に成り立つことはなく、その2つですべての状況をあらわしている。

6 ⇒ このように、対立仮説のとりうる範囲が検定仮説の片側にくる検定を片側検定という。
2)　片側検定、両側検定 この例では、T高校の受験生の平均点は「変わらない」か「高い」の場合のみを考えた。（T高校の受験生の平均点が全受験者平均より「低い」場合は考えなかった） 　　⇒　このように、対立仮説のとりうる範囲が検定仮説の片側にくる検定を片側検定という。 ※　この例の場合、検定仮説をH0: μ≦124として、 「 T高校の生徒の英語の成績は全受験者平均より高くない」のか 「 T高校の生徒の英語の成績は全受験者平均より高い」のかを検定することも可能である。しかしこの場合も検定仮説は対立仮説に近い値であるH0: μ=124を用いる。理由は後述する。 H0: μ=124 H1: μ>124

7 ⇒ この場合、対立仮説は検定仮説の両側の範囲をとる。このような検定を両側検定という。
一方、ネジを作る工場において作られたネジが規格どおりかどうかを判断する場合には、「規格どおり」か「大きいか、小さいか」という判断が必要となる。 　　⇒　この場合、対立仮説は検定仮説の両側の範囲をとる。このような検定を両側検定という。 　たとえば、ネジの直径が5mmかどうかを検定するには、 H0: μ = 5 H1: μ ≠ 5 　という両側検定をおこなうことになる。 H1: μ<5 H0: μ=5 H1: μ>5 あわせてH1: μ≠5

8 理想的な仮説検定は第1種の誤りと第2種の誤りがともに小さくなるような検定であるが、これらを同時に成り立たせることは難しい。
b)　2種類の誤り 仮説検定には2種類の誤りがある。 理想的な仮説検定は第1種の誤りと第2種の誤りがともに小さくなるような検定であるが、これらを同時に成り立たせることは難しい。 通常は第1種の誤りを0.05などの一定の小さな値（有意水準という）以下におさえた検定をおこなう。これはH0を否定(棄却)する強い証拠がない限り、H0を採択するということである。 H0を採択 (逮捕) H1を採択 (不逮捕) H0が真 （真犯人） H1が真 （無実） 取り逃がし （第1種の誤り） 正 誤逮捕 （第2種の誤り） 正

9 仮説検定は次のような手順をとる。 c) 仮説検定の手順 ＜ステップ１＞ 仮説の設定 ＜ステップ２＞ 仮説検定に適当な統計量を選ぶ
　　仮説検定は次のような手順をとる。 ＜ステップ１＞ 仮説の設定 ＜ステップ２＞ 仮説検定に適当な統計量を選ぶ 検定仮説の採択域と棄却域を設定する ＜ステップ３＞ 統計量が採択域 統計量が棄却域 ＜ステップ４＞ H0を採択 H1を採択

10 ＜ステップ2＞仮説検定に適当な統計量 T高校の例では、25人の標本平均 𝑥 の分布は中心極限定理により、平均μ、分散 𝜎 2 𝑛 の正規分布にしたがう。 これを標準化した 𝑧= 𝑥 −𝜇 𝜎 𝑛 　は標準正規分布にしたがうので、これが仮説検定に適当な統計量である。 　（母分散が未知の場合は 𝑡= 𝑥 −𝜇 𝑠 𝑛−1 が自由度n-1のt分布にしたがうことを使う）

11 仮説検定では、まず検定仮説が正しいと思ってみる。T高校の例で、σ=40であったなら、 𝑥 は平均 𝜇=124 、
＜ステップ3＞採択域と棄却域の設定 仮説検定では、まず検定仮説が正しいと思ってみる。T高校の例で、σ=40であったなら、 𝑥 は平均 𝜇=124 、 　　標準偏差 𝜎 𝑛 = = 40 5 =8 の正規分布にしたがう。 　 𝑧= 𝑥 −𝜇 𝜎 𝑛 = 135− = 11 8 =1.375となる。これは標本分布の95%の範囲内（両側検定の場合）である。⇒検定仮説を採択 𝑥 の分布 zの分布 標準化 　→

12 もし、z=2.5という結果が出たなら、どのように考えれば良いのであろうか。( 𝑥 =144のとき、z=2.5となる。)
この例の場合対立仮説を採択し、他の母集団(たとえばμ＝145)から得られた標本と考える。 片側検定の場合は、 zが0よりだいぶ大きい場合、検定仮説を棄却して対立仮説を採択することになるが、このようなｚの値は、μ<124を仮定した分布(たとえばμ=120)のすべてにおいて、検定仮説が棄却される。 zがここだったら検定仮説を棄却し、対立仮説を採択する。 zがここだったら検定仮説を棄却し、対立仮説を採択する。

13 片側検定において有意水準5%の検定をおこなう場合、標準正規分布にしたがう変数であれば、
採択域と棄却域は次のように設定される。 判定の境界値はそれぞれの統計量の分布による。（統計量の分布が標準正規分布で両側検定の場合は、-1.96と1.96の間に入れば採択域、それ以外が棄却域となる） 片側検定において有意水準5%の検定をおこなう場合、標準正規分布にしたがう変数であれば、 　　 𝑧≤1.64 のとき検定仮説を採択し、 𝑧>1.64 のとき対立仮説を採択する。 t分布にしたがう変数であれば、α=.05の列から求める自由度のものを探す。(ここでは、t0.90と表記する。) 両側検定 棄却域 採択域 棄却域 片側検定 採択域 棄却域

14 Ⅱ 1つの標本にもとづく検定 次のような問題を考える。
Ⅱ　1つの標本にもとづく検定 a)　母平均の検定 1)　母分散が既知の場合 次のような問題を考える。 （例）　ある工場では直径5mmのねじを標準偏差0.04mmにおさまるような管理体制で製造している。製造機械の劣化によって、品質に変化が生じたかどうかを検討するために、9本を標本として選んだところ、その平均が4.97mmであった。これは品質管理上異常なしと考えて良いだろうか。

15 この例の場合、 「品質管理上異常がない」か、「品質管理上異常がある」かを検定する。
１．仮説の設定 　　この例の場合、 「品質管理上異常がない」か、「品質管理上異常がある」かを検定する。 　　検定仮説としては「品質管理上異常がない」という仮説を用いる。このとき対立仮説は「品質管理上異常がある」という仮説となり、 H0: μ=5 vs. H1: μ≠5 　　と表すことができる。この場合、対立仮説は検定仮説の両側をとる（「異常がある」には、「大きすぎる」と「小さすぎる」の両方が含まれ、「異常がない」という検定仮説の両側の範囲をとる）。 　　※１　検定仮説と対立仮説を逆にし、 H0: μ≠5 vs. H1: μ =5 とすることも考えられる。しかし、採択域と棄却域を構成する場合、検定仮説が正しいとみなして構成するため、検定仮説はある範囲(複合仮説)より、1つの数値(単純仮説)であることの方が望ましい。 　　※2　「ねじがねじ穴に入るかどうか」を検定するなら、「ねじ穴に入る」という検定仮説と、「ねじ穴に入らない」という対立仮説が考えられる。すなわち、 H0: μ≦5 vs. H1: μ > 5 とすることである。

16 この例では母分散が分かっているので、標本平均 𝑥 を用いて、
２．検定統計量 　　この例では母分散が分かっているので、標本平均 𝑥 を用いて、 を考えると、これは標準正規分布にしたがう。 ３．採択域と棄却域 　　検定仮説が正しいと仮定する。このとき、標本平均をもとに計算したzが0から大きく離れていたならばこの仮定は誤りだったと考える。 𝑧= 𝑥 −𝜇 𝜎 𝑛 zがここだったら検定仮説が正しいが zがここだったら検定仮説は誤りで、 このような分布が正しいと考える。

17 この場合、zは標準正規分布にしたがうので、有意水準5%†の仮説検定をおこなうなら、 −1.96≤𝑧≤1.96 のとき検定仮説を採択し、
　　 　−1.96≤𝑧≤1.96 のとき検定仮説を採択し、 　　　　𝑧<−1.96 または 𝑧>1.96 のとき対立仮説を採択する。 †　検定仮説が正しいなら、z>1.96またはz<-1.96となるような 𝑥 が選ばれる確率は5%である。これは第1種の誤りの確率すなわち有意水準が5%であることを意味している。 ４．統計量の計算 　　検定仮説が正しいとみなして(μに5を入れて)統計量を計算すると 　　となる。よって 𝑧<−1.96 なので棄却域に入り、検定仮説を棄却し、対立仮説を採択する。 棄却域 -1.96 採択域 1.96 棄却域 𝑧= 𝑥 −𝜇 𝜎 𝑛 = 4.97− = − = − =− 9 4 =−2.25

18 母分散が未知の場合は、zの代わりに 𝑡= 𝑥 −𝜇 𝑠 𝑛−1 を考え、これが自由度n-1のt分布にしたがうことを用いて仮説検定をおこなう。
2)　母分散が未知の場合 　　母分散が未知の場合は、zの代わりに 𝑡= 𝑥 −𝜇 𝑠 𝑛−1 を考え、これが自由度n-1のt分布にしたがうことを用いて仮説検定をおこなう。 次のような問題を考える。 （例）　ある科目の試験を、平均点70点となるように作成したい。そこで、26人をサンプルとして選び、問題をといてもらったところ、26人の平均点は60点、分散が625であった。試験の問題作りは成功したといえるだろうか。

19 （解） １．仮説の設定 「平均点が70点である」という仮説を、「平均点が70点でない」という仮説に対して検定するので、 H0: μ=70 vs. H1: μ≠70 という仮説を設定する。 ２．検定統計量 標本平均 𝑥 を用いて、 を考えると、これは自由度n-1のt分布にしたがう。 ３．採択域と棄却域　検定仮説が正しいと仮定する。このとき、標本平均をもとに計算したtが0から大きく離れていたならばこの仮定は誤りだったと考える。tは自由度26-1=25のt分布にしたがうので、t0.95=2.060でる。有意水準5%の仮説検定をおこなうなら、 −2.060≤𝑡≤2.060 のとき検定仮説を採択し、 𝑡<−2.060 または 𝑡>2.060 のとき対立仮説を採択する。 ４．統計量の計算 　　となる。 −2.060≤𝑡≤2.060 なので検定仮説を採択する。よって問題作りは成功したといえる。 𝑡= 𝑥 −𝜇 𝑠 𝑛−1 𝑡= 𝑥 −𝜇 𝑠 𝑛−1 = 60− −1 = − = −10 5 =−2

20 母比率の検定では、𝑧= 𝑝 −𝑝 𝑝𝑞 𝑛 が標準正規分布にしたがうことを利用する。
b)　母比率の検定 母比率の検定では、𝑧= 𝑝 −𝑝 𝑝𝑞 𝑛 が標準正規分布にしたがうことを利用する。 （例）　2013年6月4日(火)に放送された「2014FIFAワールドカップ™アジア地区最終予選 日本×オーストラリア」では、視聴率が38.6%(関東地区 600世帯を対象)であった。この結果から、35%を超えたといえるであろうか。

21 （解） １．仮説の設定 H0: p=0.35 vs. H1: p＞0.35 という仮説を設定する。「35%を超えない」という検定仮説に対し、「35%を超えた」という対立仮説を検定するので、 H0: p≦0.35 vs. H1: p＞0.35 であるが、検定仮説は対立仮説に最も近い1点を考えれば良い。(0.35で成り立てば、それより小さな値では必ず成り立つ) ２．検定統計量 標本比率 𝑝 を用いて、 を考えると、これは標準正規分布にしたがう。 ３．採択域と棄却域 zは標準正規分布にしたがうので、有意水準5%の仮説検定を片側検定でおこなうなら、𝑧≤1.64 のとき検定仮説を採択し、 𝑧>1.64 のとき対立仮説を採択する。 ４．統計量の計算 　　となる。 𝑧>1.64 なので検定仮説を棄却し、対立仮説を採択する。よってこの番組の視聴率は35%を超えたといえる。 𝑧= 𝑝 −𝑝 𝑝𝑞 𝑛 𝑧= 𝑝 −𝑝 𝑝𝑞 𝑛 = 0.386− (0.35×0.65) = =1.846

22 Ⅲ 2つの標本にもとづく検定 母集団1（個体数N1） 標本1（個体数n1） × × × × × × × × × ×
Ⅲ　2つの標本にもとづく検定 母集団1（個体数N1） 標本1（個体数n1） × × × × × × × × × × ここに差があるかどうかを検定 この差をもとに 母集団2（個体数N2） 標本2（個体数n2） × × × × × × × × × ×

23 母平均の差の検定は、母分散についての情報がどの程度あるかによって、次のように分類できる。
a)　母平均の差の検定 2つの母平均の差の検定は、2社のメーカーが作った電球の寿命の差があるかどうかとか、試験の成績について男女間で差があるかどうかなどを検定するときに用いられる。 母平均の差の検定は、母分散についての情報がどの程度あるかによって、次のように分類できる。 1) 母分散がともに分かっている場合 2) 母分散は分からないが、等しいとみなしてよい場合 3) 母分散について全く分からない場合

24 平均値の差の検定において、2つの標本平均 𝑥 1 − 𝑥 2 の分布は、
１）　母分散がともに分かっている場合 　平均値の差の検定において、2つの標本平均 𝑥 1 − 𝑥 2 の分布は、 　平均μ1－μ2、分散 𝜎 𝑛 𝜎 𝑛 2 の正規分布にしたがうことが理論的に導かれる。 　したがって、 　が、標準正規分布にしたがう。 　2つの母集団の分散がともに分かっている場合にはこの統計量を用いて、検定をおこなえばよい。 　⇒　ただし、このような仮定はあまり現実的ではない。 𝑧= 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 𝜎 𝑛 𝜎 𝑛 2

25 ２） 母分散は分からないが、等しいとみなしてよい場合 この場合の検定は、現実味と対処しやすさの両方を持っている。
２）　母分散は分からないが、等しいとみなしてよい場合 　この場合の検定は、現実味と対処しやすさの両方を持っている。 　母分散を等しいとみなしてよいかどうかは、後述する等分散の検定をおこなうことが可能である。 　したがって、 　　等分散の検定をおこなって等分散であると判定 　　 → 母分散は分からないが等しいとみなしてよい場合の検定の適用 　という手順を用いればよい。 母分散は分からないが、等しいとみなしてよい場合には、2つの標本から求められた分散を 𝑠 1 2 , 𝑠 2 2 とあらわすと、母分散の不偏推定量は 　　となり、これを用いて 　　を考えると、これは自由度 n1+ n2-2 のt分布にしたがう。 𝜎 2 = 𝑛 1 𝑠 𝑛 2 𝑠 𝑛 1 + 𝑛 2 −2 𝑡= 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝜎 𝑛 𝑛 2

26 （例） A, B 2銘柄のタバコのニコチン含有量を調べたところ、銘柄Aのタバコ10本は平均 27. 0mg、標準偏差 1
（例）　A, B 2銘柄のタバコのニコチン含有量を調べたところ、銘柄Aのタバコ10本は平均 27.0mg、標準偏差 1.7mg、 銘柄Bのタバコ7本は平均 29.3mg、標準偏差 1.9mgであった。この2つの銘柄の間にニコチン含有量の差はあるであろうか。 （解） １．仮説の設定　銘柄Aのニコチン含有量をμ1、銘柄Bのニコチン含有量をμ2とし、M=μ1 ｰ μ2とすると、 H0: M=0 vs. H1: M≠0 となる。 ２．検定統計量 標本平均 𝑥 1 , 𝑥 2 を用いて、 を考えると、これは自由度n1+n2-2のt分布にしたがう。 𝑡= 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝜎 𝑛 𝑛 2

27 よって 𝑡<−2.131 なので棄却域に入り、検定仮説を棄却し、対立仮説を採択する。 2銘柄のニコチン含有量には差があるといえる。
３．採択域と棄却域　検定仮説が正しいと仮定する。このとき、標本平均をもとに計算したtが0から大きく離れていたならばこの仮定は誤りだったと考える。tは自由度10+7-2=15のt分布にしたがうので、t0.95=2.131である。有意水準5%の仮説検定をおこなうなら、−2.131≤𝑡≤2.131 のとき検定仮説を採択し、 𝑡<− または 𝑡> のとき対立仮説を採択する。 ４．統計量の計算　σ2について不偏推定量 　　を用いると、 　　よって 𝑡<−2.131 なので棄却域に入り、検定仮説を棄却し、対立仮説を採択する。 　　2銘柄のニコチン含有量には差があるといえる。 𝜎 2 = 𝑛 1 𝑠 𝑛 2 𝑠 𝑛 1 + 𝑛 2 −2 = 10× × −2 = =3.611 𝑡= 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝜎 𝑛 𝑛 2 = 27.0−29.3 − × = − =−2.457

28 ※　等分散の検定 2つの母集団の分散が等しいかどうかについても検定をおこなうことができる。この検定では、「2つの母集団の分散は等しい」という検定仮説に対し、「 2つの母集団の分散は等しくない」という対立仮説を想定して検定をおこなう。すなわち、 H0：　σ1 = σ2　vs.　H1:　σ1≠σ2 　　という仮説検定である。 　　この場合、 𝐹= 𝑛 1 𝑛 1 −1 𝑠 𝑛 2 𝑛 2 −1 𝑠 2 2 　　が自由度(n1-1, n2-1) のF分布に従う

29 F分布は次のような形状をしている。

30 ＜例＞ タバコの2銘柄の間で、ニコチン含有量の母分散に差があるかどうかを検定してみる。
＜例＞　タバコの2銘柄の間で、ニコチン含有量の母分散に差があるかどうかを検定してみる。 銘柄Aは10本で標準偏差 1.7mg、 銘柄Bは7本で標準偏差 1.9mg であった。 H0：　σ1 = σ2　vs.　H1:　σ1≠σ2 　　という仮説検定をおこなうとき、検定統計量は 　　となり、これが自由度(n1-1, n2-1) のF分布に従う。 　　自由度(9,6)のF分布の95%点は（0.231, 5.523）となるので、 　　　　0.231≦F≦5.523のとき、検定仮説を採択し、 　　　　F＜0.231またはF＞5.523のとき、検定仮説を棄却し、対立仮説を採択する。 𝐹= 𝑛 1 𝑛 1 −1 𝑠 𝑛 2 𝑛 2 −1 𝑠 2 2

31 　　検定統計量を計算すると 𝐹= 𝑛 1 𝑛 1 −1 𝑠 𝑛 2 𝑛 2 −1 𝑠 2 2 = −1 × −1 × = =0.762 　　となるので、0.231≦F≦5.523より検定仮説を採択する。 　　よって、2つの母集団の分散は等しいといえる。（より正確には2つの母集団の分散が異なるとはいえない） 　　この検定をおこなえば、母分散の等しい場合の検定を用いることができることがわかる。 　　†　平均値の差の検定の予備的分析としてこの検定を用いる場合、有意水準を少し大きめにとる(たとえば0.25など)。有意水準が0.05であると、母集団の分散が等しいという検定仮説が棄却されにくく、母分散が異なる場合にも、母分散が等しいと仮定して平均値の差の検定をおこなってしまうからである。

32 ３）　母分散について全く分からない場合 　この場合には、 𝑡= 𝑥 1 − 𝑥 2 − 𝜇 1 − 𝜇 2 𝜎 𝑛 𝑛 2 　が自由度 n1+ n2-2 のt分布には従わないことがわかっている。 　しかし、自由度を修正することによって、ｔ検定を利用することができる。 　自由度を 𝜈= 𝑠 𝑛 1 −1 + 𝑠 𝑛 2 − 𝑠 𝑛 1 − 𝑛 1 − 𝑠 𝑛 2 − 𝑛 2 −1 　によって求めると、自由度𝜈のｔ分布に従う。（Welchの方法）

33 2つの母比率p1およびp2に差があるかどうかを検定する場合は、
b)　母比率の差の検定 2つの母比率p1およびp2に差があるかどうかを検定する場合は、 𝑧= 𝑝 1 − 𝑝 2 − 𝑝 1 − 𝑝 𝑝𝑞 1 𝑛 𝑛 2 　　が標準正規分布にしたがうことを利用する。 （例）　6月23日(日)に放送されたアニメ「サザエさん」の視聴率は17.0%(関東地区 600世帯を対象)であった。この結果は、同じ6月23日(日)に放送された「真相報道バンキシャ！」の視聴率13.1%を上回ったといえるかどうか。

34 を考えると、これは標準正規分布にしたがう。
（解） １．仮説の設定 「サザエさん」の視聴率をp1、「真相報道バンキシャ！」の視聴率をp2とし、M= p1-p2とすると、H0: M=0 vs. H1: M>0 となる。 ２．検定統計量 標本比率 𝑝 1 , 𝑝 2 を用いて、 を考えると、これは標準正規分布にしたがう。 ３．採択域と棄却域　zは標準正規分布にしたがうので、有意水準5%の仮説検定をおこなうなら、𝑧≤1.64 のとき検定仮説を採択し、 𝑧>1.64 のとき対立仮説を採択する。 ４．統計量の計算　pの値が不明なので、プールした推定値 =0.1505　をもちいる。 　　より、 𝑧>1.64 なので検定仮説を棄却する。「サザエさん」の視聴率は「真相報道バンキシャ！」の視聴率を上回ったといえる。 𝑧= 𝑝 1 − 𝑝 2 − 𝑝 1 − 𝑝 𝑝𝑞 1 𝑛 𝑛 2 𝑧= 𝑝 1 − 𝑝 2 − 𝑝 1 − 𝑝 𝑝𝑞 1 𝑛 𝑛 = −0.131 − ×0.8495× = =1.893