差の大きさと、統計的な判断

統計的有意とは、事前に決めた有意水準の基準を満たし、帰無仮説を棄却する判断に関わります。効果の推定値は、二群の差や比など、比較する関係の大きさを表す推定値です。統計的有意性と、その差が目的に対してどれほど重要かは別に考えます。実務的重要性には、同じ単位の差の大きさと、その差が及ぼす影響や負担、研究の目的が関わります。標本数が多く標準誤差が小さいと、小さな差も有意になり得ます。一方、有意でない結果でも、区間が広ければ、0だけでなく重要と考える差も区間に含まれることがあります。推定値、区間、P値を合わせて読み、有意という言葉だけを大きな差へ、非有意という言葉だけを効果0の証明へ置き換えません。

効果の大きさと、幅と有意性

同じ差の横軸に推定差0.1の点を二つ置く。上の区間は−0.1から0.3で0を含み、下は0.05から0.15で0を含まない。共通の帰無値0を破線で示す。両側正規模型の95%区間と有意水準5%の対応条件で、有意性と推定された差の大きさを分ける。
同じ尺度で推定差0.1を比較した仮想例です。両側の正規模型に対応する95%信頼区間と有意水準5%の検定をそろえ、上の広い区間は帰無値0を含み、下の狭い区間は含みません。同じ推定差でも不確かさにより有意性は変わります。統計的有意性と、目的に対する影響や負担を含む実際の重要性は分けて考えます。