研究の読み方：統計的仮説検定の考え方

本文の目次

統計的仮説検定では、母集団について帰無仮説を置き、その仮説とモデルの下で観測結果を評価する。対立仮説では、どの違いを調べるかを決める。大きい側だけ、小さい側だけ、両方向という目的を区別し、結果を見た後に方向を入れ替えた検討を事前の計画と混同しない。

正しい帰無仮説を棄却するのが第1種の誤りで、正しくない帰無仮説を棄却しないのが第2種の誤りである。有意水準αは通常あらかじめ設定する。適切に設計・校正された検定では、前提が成立する帰無条件の下で棄却確率をα以下に抑える。設定値だけで、前提を満たさないデータにも同じ上限が保証されるわけではない。

P値は、帰無仮説とモデルを仮定した下で、観測した統計量と同等以上に極端な統計量が得られる確率である。何を極端とするかは、対立仮説の方向や統計量によって定まる。P値は帰無仮説の正しさの確率でも、対立仮説の正しさの確率でもない。有限模型では、決めた極端さに該当する全ての値を含めて確率を合計する。

棄却しないという結果は、設定した検定で棄却に必要な証拠が得られなかったことを表す。帰無仮説が真だという確定でも、差がないという証明でもない。棄却した場合も、モデルや誤りの可能性を残す統計的判断であり、対立仮説が確実に真と証明したことではない。

具体的な対立条件の下で、棄却しない確率をβとすると、棄却する確率である検出力は1−βである。対立条件、検定、標本数、ばらつきなどが変われば検出力も変わり得る。αとβは、異なる条件の下での判断確率である。有限回の模擬記録の割合を、将来の真の確率が厳密に確定した値と扱わない。

統計的有意性と、差の大きさや実務上の重要性は別の観点である。P値だけで効果の大小を決めない。また複数の検定を行うと、少なくとも一つで誤って棄却する確率は、一つの検定の有意水準とは異なり得る。独立などの条件を確かめず、複数検定の全体確率を単純に掛け算で求めない。