統計の基礎11 多重比較

統計の基礎11では、3群以上を比較する場合における平均値の差の検定である、多重比較検定について説明します。分散分析も同様の平均値の差の検定ですが、分散分析ではどの群とどの群の間に差があるのかよくわからないが、全体を見渡すと差がある、といった漠然とした差を見分けることになっています。多重比較では、具体的にどの群の間に差があるのかを示す方法となっています。

このような、多数のペアで平均値を比較する場合、単純にt検定のように2群ずつの比較を繰り返せばいいように思えます。しかし、このように検定を繰り返すと、繰り返しによる問題が生じます。第一の過誤が0.05である場合、概ね5%程度検定が間違いである可能性を含みます。このような検定を（例えば）3度行った場合、3つの検定がすべて正しくなる確率は95%より随分小さくなってしまいます。このように、"結果に確実性がなくなるから、第一の過誤をより厳しく判断してより確実な検定を行おう"とする目的で生み出されたのが多重比較検定です。要は、多重比較のときは検定全体での第一の過誤が0.05になるように調整される（より厳しく判定する）ことになります。

多重比較の方法は多数ありますが、一般的によく見かけるのはTukey HSDと呼ばれる方法です。この他にはBonferroniの方法が比較的よく使用されます。Dunnettの方法は1つの対象群と他の群との比較となり、第一の過誤の判定の厳しさがややゆるいもの（差が出やすいもの）となっています。Benjamini & Hochbergの多重検定法は非常に多くの検定を行う場合（10000－30000ぐらい、遺伝子チップの解析では普通に行われます）に用いられる方法です。

Tukey HSDは多重比較検定としては最も一般的なもので、多群の総当りでの差を検定します。組み合わせの数は階数的に増えていくため、増えれば増えるほど第一の過誤を厳しく見積もることとなり、差が出にくくなる性質を持ちます。