第5章 統計的仮説検定 H411007 石田晃基 H411016 牛山悠資
統計的仮説検定 推測統計の中でも利用頻度の高い重要なもの 今回は統計的仮説検定の手順とさまざまな用語を説明します また、標準正規分布を使った検定、t分布を使った検定、無相関検定、カイ二乗検定を説明します
統計的仮説検定の必要性-(1) なぜ必要なのか? ある研究者を例にして考えます。 日本人の大学生において自尊感情と社会性の間には相関関係があるということを主張するため、実際に大学生50人を無作為に選び、データを収集した。 結果、自尊感情と社会性の間には相関関係が0.5あり、研究者は相関関係があると結論づけた。
統計的仮説検定の必要性-(2) しかし、この結論に批判の声が上がった その中で大きな打撃を受ける批判の一つに「例え、母集団全体では全く相関がなくても標本では相関関係が見られる事がある」 これを言い換えると「母集団全体からデータを得たら相関関係はゼロになるのに、きみがたまたま相関関係が見られるような標本を抽出しただけじゃないのか」
統計的仮説検定の必要性-(3)
統計的仮説検定の手順と用語 母集団に関する帰無仮説と対立仮説を設定する 検定統計量を選ぶ 有意水準αの値を決める データから検定統計量の実現値を求める 検定統計量の実現値が棄却域に入れば 帰無仮説を棄却して、対立仮説を採択する。 棄却域に入らなければ帰無仮説を採択する
手順-(1) 始めに母集団に関して母平均𝜇 =0、母相関係数ρ=0、母平均の差𝜇 1ー𝜇 2=0といった「○○がない」という帰無仮説を立てます。 これとは逆に「○○がある」という対立仮説を立てるのですが、このとき対立仮説が 𝜇 ≠0、ρ≠0、 𝜇 1ー𝜇 2≠0の場合両側検定になり、 また𝜇 >0、ρ>0、 𝜇 1ー𝜇 2>0の場合 片側検定となります
手順-(2) 続いて、これらの仮説の検定統計量を決めます。そして、有意水準を設定します。 データから検定統計量の実現値を計算します データから検定統計量の実現値を計算します その値が、棄却域に入れば「有意な差がある」という判断ができ、また棄却域に入らなければ「有意な差がない」と判断できます。
用語-(1) 帰無仮説 「差がない」「効果がない」という仮説 本来主張したいこととは逆の仮説になります。 対立仮説 「差がない」「効果がない」という仮説 本来主張したいこととは逆の仮説になります。 対立仮説 帰無仮説が棄却されたとき採択される仮説。 帰無仮説とは逆の仮説。
用語-(2) 検定統計量 統計的仮説検定のために用いられる標本統計量のこと。 統計的仮説検定のために用いられる標本統計量のこと。 実際のデータから検定統計量の値を計算したものが検定統計量の実数値となります。 検定統計量の実現値は対立仮説に合っているほど、0から離れた値を示します。
用語-(3) 有意水準 帰無仮説を棄却するかという基準。 有意水準は5%または、1%に設定されること が多く、記号αで表されます。 棄却域 帰無仮説を棄却するかという基準。 有意水準は5%または、1%に設定されること が多く、記号αで表されます。 棄却域 検定統計量の値の範囲。帰無分布における、 裾野部分の面積がαとなる領域に対応した値の範囲。 棄却域以外の部分を採択域といい、棄却域と採択域の境界の値のことを臨界値といいます。
用語-(4) Ρ値 帰無仮説が正しいという仮説のもとで、 標本から計算した検定統計量の実現値以上 の値が得られる確率のこと。 帰無仮説が正しいという仮説のもとで、 標本から計算した検定統計量の実現値以上 の値が得られる確率のこと。 Ρ値が有意水準αより小さいときに帰無仮説を 棄却します。
用語-(5) 誤り 「帰無仮説が真のときこれを棄却してしまう」 これを第一種の誤りといい、 「帰無仮説が偽のときこれを採択する」 「帰無仮説が真のときこれを棄却してしまう」 これを第一種の誤りといい、 「帰無仮説が偽のときこれを採択する」 これを第二種の誤りという。 第一種の誤りを犯す確率をα、 第二種の誤りを犯す確率をβで表します。 有意水準を5%とした場合、 第一種の誤りも5%になります
用語-(6) 検定力 帰無仮説が偽のとき第二種の誤りを犯す確率と犯さない確率を合計すると1になります。 帰無仮説が偽のとき第二種の誤りを犯す確率と犯さない確率を合計すると1になります。 帰無仮説が偽の場合、全体の確率1から第二種の確率βを引いた確率1-βは第二種の誤りを犯さない確率となり、これを検定力といいます。 検定力とは間違っている帰無仮説を正しく棄却できる確率のこと。
標準正規分布を用いた検定-(1) 標準正規分布については第4章参照 これを帰無分布とし一つの平均値の検定の方法を紹介します。 ここで検定統計量を Z= 𝑋 −𝜇 𝜎/ 𝑛 とします。 この標本分布は平均𝜇 、分散 𝜎 2 𝑛 の正規分布になります。
標準正規分布を用いた検定-(2) 今回しようするデータです、平均は12、分散は10の正規分布になります。 これより、帰無仮説:μ=12、対立仮説μ≠12 が設定できます。 また、検定統計量をZ= 𝑋 −𝜇 𝜎/ 𝑛 、 有意水準をα=0.05とします。
標準正規分布を用いた検定-(3) これらのデータにより検定統計量の実現値を求めます。 検定統計量の実現値はZ=-2.828427と求められました。
標準正規分布を用いた検定-(4) 棄却or採択の決定 Rではqnorm関数を用いて棄却の臨界値を求めます。 これより、Z<-1.959964、Z>1.959964となります。検定統計量の実数値はZ=-2.828427なので棄却域に入ります。よって、帰無仮説は棄却されます。
標準正規分布を用いた検定-(5) 棄却or採択の決定 pnorm関数を用いて直接ρ値を求める方法 有意水準0.05より小さいので帰無仮説は 棄却されます。
T分布を用いた検定-(1) 正規母集団からの無作為標本であり、母集団の分散が分からない場合を考えます。 この場合、標準正規分布を用いることができないので検定統計量において Z= 𝑋 −𝜇 𝜎/ 𝑛 を計算することができません、よって不偏分散の正の平方根である 𝜎 を用いて計算される T= 𝑋 −𝜇 𝜎 / 𝑛 を利用します。
T分布を用いた検定-(2) T分布とは統計学でよく利用される確率分布のひとつです。 T分布は自由度dfという数値によりその形状が決まります。
T分布を用いた検定-(3) 先ほどと同じデータを使用します。 帰無仮説、対立仮説、有意水準の設定は同じですが検定統計量はT= 𝑋 −𝜇 𝜎 / 𝑛 となります。 これより検定統計量の実現値を求めます。 検定統計量の実現値はt=-2.616648となりました。
T分布を用いた検定-(4) 棄却or採択の決定 この検定統計量は、帰無仮説のもとで 自由度df=n-1=20-1=19のT分布に この検定統計量は、帰無仮説のもとで 自由度df=n-1=20-1=19のT分布に 従います。qt関数を利用し棄却域を求めます。 これにより棄却域は、t<-2.093024、t>2093024となります。検定統計量の実現値はt=-2.616648だったので棄却域に入り、帰無仮説は棄却されます。
T分布を用いた検定-(5) 棄却or採択の決定 pt関数を利用してp値を求める方法
相関係数の検定-(1) 次に相関係数に関する検定について紹介します。 この検定は帰無仮説を「母集団において相関が0である」と設定するため、無相関検定とも呼ばれる。 母集団相関係数に関する検定を行うとき標本相関係数γをT= 𝛾 𝑛−2 1− 𝛾 2 に代入します。
相関係数の検定-(2) これまでと同様のデータを使います。 母相関が0のため帰無仮説:ρ=0 対立仮説:ρ≠0となります。 母相関が0のため帰無仮説:ρ=0 対立仮説:ρ≠0となります。 また、検定統計量はT= 𝛾 𝑛−2 1− 𝛾 2 となり 有意水準はα=0.05とします。
相関係数の検定-(3) 検定統計量の実現値を求めます。 検定統計量の実現値はt=4.805707となりました。
相関係数の検定-(4) 棄却or採択の決定 この検定統計量は、帰無仮説のもとで 自由度df=n-2=20-2=18のt分布に従います。 この検定統計量は、帰無仮説のもとで 自由度df=n-2=20-2=18のt分布に従います。 これより棄却域は、t<-2.100922、t>2.100922となり、検定統計量t=4.805707は棄却域に入るため帰無仮説は棄却されます。
相関係数の検定-(5) 棄却or採択の決定 ptを利用してp値を直接求める方法 p値は0.0001416229と求められ,0.05よりも p値は0.0001416229と求められ,0.05よりも 低いので帰無仮説は棄却されます。
独立性の検定-(1) 独立性の検定は、2つの質的変数が独立であるかどうかを確かめるために行います。 独立であるというのは、2つの質的変数に 独立であるというのは、2つの質的変数に 連関がないことを意味します。 2つの質的変数の関係については第3章参照
独立性の検定-(2) 今回使用するデータです。 この数値の書かれたマスのことをセルといい、 セルに書かれた数値をまた観測度数といいます。また各列方向、行方向を合計したものを 周辺度数といいます。 周辺度数を合計したものを総度数といいます。
独立性の検定-(3) 2つの変数の間に連関がないという帰無仮説のもとで帰無仮説が正しければ、これくらいの度数を取るだろうと期待される度数を 期待度数といいます。 期待度数 =(セルが属する行の周辺度数)^2/総度数 により求まります。
独立性の検定-(4) この場合、 帰無仮説:2つの変数は独立である。 対立仮説:2つの変数は連関である。 と設定します。 帰無仮説:2つの変数は独立である。 対立仮説:2つの変数は連関である。 と設定します。 2つの独立性の検定における検定統計量は 𝑋 2 = ( 𝑂 1 − 𝐸 1 ) 2 𝐸 1 + ( 𝑂 2 − 𝐸 2 ) 2 𝐸 2 +…+ ( 𝑂 𝑘 − 𝐸 𝑘 ) 2 𝐸 𝑘 で表されます。 有意水準α=0.05とします。
独立性の検定-(5) 検定統計量の実現値を求めます。 これにより、 検定統計量実 数値は2.539683 となります。
独立性の検定-(6) 棄却or採択の決定 qchisq関数を利用することで棄却域を求める ことができます。 ことができます。 棄却域は、 𝑋 2 >3.841459となります。 検定統計量は2.53968なので棄却域に入らず 帰無仮説は棄却されません。
独立性の検定-(7) 棄却or採択の決定 P値を直接求めることも可能です。 p値は0.1110171と求められ、0.05より低いの p値は0.1110171と求められ、0.05より低いの で帰無仮説は棄却されません。
サンプルサイズ検定の結果への影響-(1) サンプルサイズが検定結果にどのような 影響を及ぼすか考えます。 影響を及ぼすか考えます。 例として、A大学における世界史の履修状況に関して文系、理系の関係を調べるため それぞれの学生を無作為に20名集めて、 データをとりました。
サンプルサイズ検定の結果への影響-(2) データより文系は8割、理系は6割の学生が 履修し、一見すると文系学生に比べて 履修し、一見すると文系学生に比べて 理系学生のほうが世界史を履修しなかった 傾向があるように見えますが、 「理系学生で世界史を履修しなかった人がたまたま多く抽出されただけでは?」という反論に 対抗するため、検定します。
サンプルサイズ検定の結果への影響-(3) この検定の帰無仮説は 「世界史の履修の有無と文系・理系の 別には連関がない」となる。 「世界史の履修の有無と文系・理系の 別には連関がない」となる。 2×2クロス集計表の関する検定なので 自由度は1となり、有意水準を0.05とすると、 棄却域は 𝑋 2 >3.841459と求まります。
サンプルサイズ検定の結果への影響-(4) この結果から検定統計量の実現値が 𝑋 2 =1.9048,p値が0.1675となり、 どちらの結果からも帰無仮説は棄却されません。
サンプルサイズ検定の結果への影響-(5) B大学では、A大学の10倍の人数を対象にし、 同様の検定を行いました。 これより検定統計量 同様の検定を行いました。 これより検定統計量 の実現値が 𝑋 2 =19.0476、 p値が1.275e-05 となり、この結果から 帰無仮説は 棄却されます。
サンプルサイズ検定の結果への影響-(6) まとめ 標本における連関の大きさが全く同じで あっても、サンプルサイズが異なると検定の 標本における連関の大きさが全く同じで あっても、サンプルサイズが異なると検定の 結果が変わることがわかります。 サンプルサイズが大きくなると、検定の 結果は有意になりやすい。 さらに、このことは他の検定の方法でも 同じ性質があります。
練習問題