72人の統計学者が連名でp値の閾値を0.05から0.005にしようと言ったのに対し、88名の反論論文と46名の反論論文が！

まず最初はNatureニュースのこの記事から、、、

Big names in statistics want to shake up much-maligned P value

論文はこれ：

Redefine statistical significance

この手の論文としては異様に多い、72人もの連名ですね。

アブストラクトが直球で、

"We propose to change the default P-value threshold for statistical significance for claims of new discoveries from 0.05 to 0.005."

だという。社会科学とバイオメディカルの分野での提案。

もともとp値を使わないようにしている専門誌もあったりする。

Psychology journal bans P values

また素粒子実験ではp値にすると0.0000003を使っていたり、ベイジアンテストを使っている分野もあったり。

ニュースの最後にも書いてあるように

“P value by itself is not necessarily evil.”

なんでしょうが、p-hackingの話とか聞くとこれも致し方なしという気がする。

--

と言っていると反論がでた。

'One-size-fits-all’ threshold for P values under fire

～　Scientists hit back at a proposal to make it tougher to call findings statistically significant.　～

88人が連名でこのようなレスポンス論文を出したという。

Justify Your Alpha: A Response to “Redefine Statistical Significance”

「いやそんなことよりそもそも研究者は研究を設計する際にもちいた有意水準をを含むすべての選択肢をはっきりと報告し正当化すればいいでしょ！一つのP値で全部やるなんて、、、」

というようなことでしょうか。

悪い結果を「引き出しにしまう」ようなネガティブな効果と、実験をする前にもうP値がそうなるようなデータのとり方をしてしまって余計に悪くなる、ということも。

アンケートではこんな感じになったそうです。

--

そしてさらにもう一つ。46名の連名の反論。

Manipulating the alpha level cannot cure significance testing – comments on "Redefine statistical significance"

こういう学術的な論争はどんどんやってほしいなあ。