統計の基礎4 仮説検定の基礎

統計の基礎4では、統計でよく用いられる、仮説検定の基本的なことについて説明します。仮説検定は科学論文でも、臨床データでもどこにでも顔を出すのですが、いまいち意味がわかりにくいものです。私もはっきりとはわかっていませんが、現在わかることについてシミュレーションを含めてまとめてみました。

検定は、基本的にはYes/No的な、2値分類したいけど、データがばらついていてはっきり2値分類できない、どうにかしたい、という問いに答える方法です。2値分類してしまうとデータの情報のほとんどを失ってしまうため、データを理解するいい方法であるとは言えません。しかし、意思決定は通常Yes/Noで実施されるため、指標がないと意思決定できない、ということもよく起こります。意思決定者が統計専門家とは限らないため、データだけ見てもなんとも言えない、でも意思決定の指標を準備してほしい、というニーズが存在します。このニーズに答えるために検定が存在するのではないかと思っています。

検定の問題で最も代表的なものは、2つの集団が同じ集団と見なせる（たとえば平均が同じと見なせる）のか、そうでないのかを判断するものです。データは分布を持つので、どの程度重なっていれば同じで、どの程度重なりが小さければ差があると言っていいのか、何か基準がないと説明できません。では、差があるとできるのがどういうときかを考えると、差があるとする基準に十分に達しているとき、もしくは差がないとすると確率が低すぎて矛盾する、のどちらかの場合となります。1つ目の、差があるとする基準を設定する方法では、どのような問題にも対応する基準を設定する必要があり、あまり現実的ではありません。検定では、差がないとすると確率が低すぎて矛盾する（差がないという仮定を棄却できる）から差がある、という結論を取る方法を取ります。

2つの分布の差を調べる問題を考えたとき、大きい方から小さい方を引いたときの差の分布が0以上であれば差があると言えそうです。では、どの程度の確率で差が0以上となるか計算するということをしてみます。仮定として、差の分布が正規分布し、差の平均値が0、0.5、1、標準偏差が1であり、3つの結果から差があるかどうか検証するという状況をかんがえて見ると、平均が0なら50%ぐらい、0.5なら80%ぐらい、1なら96%ぐらいの確率で0より大きくなることがわかります。したがって、差が1のときには、差がないとしたら、差がない可能性（0となる可能性）は4%ぐらいしかないことになります。このように、0以下にはほぼならない、ということを仮説として検証するのが仮説検定になります。

仮説検定では、差がある場合に棄却できる仮説を立てます。このような仮説を（棄却するのが目的なので）帰無仮説と呼びます。上の例では、差の平均が0以下である、とするのが帰無仮説となります。上記のように、平均が1で0以下となる可能性が4%になるというのは非常に低い確率です。ですので、確率が低いから0以下である仮説を棄却し、0以上であるとする（対立仮説を採用する）のが仮説検定となります。では、上記の平均0.5のとき（0より大きい確率が80%ぐらい）のときは、仮説を棄却できるでしょうか？一般的に、仮説検定では5%というのを基準に仮説の棄却を判断します。5%には意味はないのですが、フィッシャーの時代から面々と引き継がれている5%なのでみんな採用している状況にあります。5%で仮説の棄却判定をするとすると、平均0.5のときには仮説は棄却できないことになります。

仮説が棄却できないときには仮説を採用できそうに思えますが、実際には平均0.5のときを見ると、80%の確率で0より大きいという結果を得ています。要は、平均が0以下である可能性は20%しかないということになります。20%の確率しかない帰無仮説を採用するのは不自然です。したがって、帰無仮説を棄却できない（差を証明できない）からといって、帰無仮説を採用する（差がないとする）ことの証明とはなりません。言えることは、差があるとは言えない、という曖昧な結論になります。

上記の確率計算では、3つの値を取ってきて平均値を調べる、ということをやっています。では、この取ってくる数を増やすとどうなるかを調べてみると、数を増やすほど0より大きくなる確率が上がっていきます。ほとんどの仮説検定では、このようにサンプル数を増加させると、帰無仮説を棄却できる可能性がどんどん上がっていく性質を持っています。