有意差が無いのに、有意差有り、と判定する可能性

心理学の論文では、実験・調査などを実施して統計的に有意差が出た、という主旨のものが良くあります。一見すると、統計学が威力を発揮しているように思えてきますね。しかし、有意差が実際にそうなのかどうか、を考えてみる必要があります。

統計検定と、確率による判断

心理学の分野では、少し前に発表された「透視能力が統計的に有意である」という結果が衝撃的でした。(Feeling the Future: Experimental Evidence for Anomalous RetroactiveInfluences on Cognition and Affect. Journal of Personality and Social Psycology. 2011 vol.100 No.3, 407-425)

統計検定の場合、以下のように判定していきます。

有意差が無いと仮定する
実験・調査などを実施する
有意差が無いと仮定した場合に、実施した結果になる確率を計算する
確率が低い(5％以下、1％以下など) => 有意差がある、と判定する(確率が低くなければ、有意差があるとは言えない)

となります。例えば「20代と50代で自民党支持率が有意差があるか？」であれば、

20代と50代では自民党支持率は同じ、と仮定する
20代と50代の何人かにアンケート調査を実施する
20代と50代の自民党支持率は同じとした場合に、結果が生じる確率を計算する
確率により有意差がある、または有意差があるとは言えない、を判定する

あくまで確率による判断のため、「調査した●●人の結果が、たまたま偏っていた」という可能性はあります。つまり、本来は有意差がない場合でも有意差があると判定してしまうことが起こり得ます。

繰り返し行えば、有意差が出るほど偏る確率が増える

調査を1回だけ行い、有意差が出る・でないを判定して終わり、ということもあるかもしれませんが、調査を何回もやってみることもありえます。そうすると、1回の調査では、有意差が出る確率は低いですが、似たような調査を何十回も繰り返して行えば、(本来は有意差が無い場合でも)有意差が出るほど偏る、という可能性が高くなります。

あるいは1回の調査でも、「被験者全体で有意差を計算する」「男性の被験者で有意差を計算する」「女性の被験者で有意差を計算する」とか、「○○学部の1年生の被験者で有意差を計算する」とか、実質的な回数を増やすことができます。

このようにして調査の回数が増えると、見かけ上は有意差が出たことになり、そのような調査報告が作成されます。冒頭で述べた「透視能力が統計的に有意である」という結果が出ることもあるでしょう。