Dieboldが紹介している。Behaviorに掲載予定との由。Nakagawa氏の名前も見受けられる*1。0.005.」となっている。acceptance.(拙訳)科学的研究の再現性の欠如は、「統計的に有意な」発見に基づく新発見の主張の信頼性についての懸念を増大させている。この再現性の欠如をもたらす複数の原因(例:多重検定、pハッキング、出版バイアス、検定力の不足している研究)を明らかにし対処することについてはかなりの前進が見られた。我々は、再現性の欠如の最大の原因は未だ適切に対処されていないと考える。それは、科学の多くの分野で、新発見を主張する際の実証結果に関する統計的基準がとにかくあまりにも低い、ということである。p値が0.05より低い結果を「統計的に有意な」発見とすることは、実験や手続きや報告についての他の問題が無い場合でも、偽陽性を高い割合でもたらすことになる。新発見の統計的有意性の閾値がp<0.05と定義されている分野について、それをp<0.005に変更するよう我々は提言する。この単純な手続きは、多くの科学研究分野における再現性を直ちに改善するであろう。現在「有意」と呼ばれているが新たな閾値を満たさない結果は、「示唆的」と呼ぶものとする。統計学者はp<0.05を発見の閾値に使うことの相対的な弱点を以前から知っており、それを0.005に低めるという提言は新しいものではないが(1*2、2*3)、今やこの変更を支持する研究者は臨界点に達した。我々は提言を、新たな効果の発見の主張に限定する。既存の主張を確認もしくは覆す再現結果についての適切な閾値については対象としない。厳格な基準を既に採用している分野(例えばゲノミクスや高エネルギー物理学研究など。後述の「あり得る反論」の項を参照)の発見の閾値の変更を提唱するものでもない。我々はまた、帰無仮説の有意性検定を行う研究に提言を限定する。再現性を改善する最善の方法については我々の中でも意見が分かれており、多くの者は、データを要約する別の方法がp値より好ましい、と考えている。明確に記述されたモデルの仮定に基づくベイズファクターなどの事後の要約統計量である。p値の閾値を変えるのは単純であり、多くの研究者が受けてきた訓練の延長線上にあり、すぐに広く受け入れられる可能性がある。論文では、0.5%という閾値を選択した理由として以下の2つを挙げている。偽陽性率が合理的な範囲まで下がる。2番目のポイントについて論文では、閾値や事前確率の変化に伴う偽陽性率の変化を図示しているが、それは、小生が7年前のこのエントリで描画したものに似ている。Cohen論文の統合失調症の診断の例から持ってきた記法と今回の論文の記号を組み合わせる形でその例示を表現すると、以下のようになる。(1−φ)×(1−β)}となる。7年前のエントリを書いた時には、小生は偽陽性率とφを変化させて、P(H0|D)(=偽陽性率)とP(D|H0)(=P(誤診|H0)=病気が無い人を病気があると診断する確率)がどの程度乖離するかを見たのだが*4、今回の論文では、φとαと1−βを変化させて、偽陽性率がどのように変化するかを見ている。そのうちのαについては、0.05もしくは0.005として、有意水準を下げることによって偽陽性率がどの程度下がるかを見ている。odds=(1−φ)/φ)。7年前のエントリと同様に3Dグラフにしてみると次のようになる。いずれの図からも、確かにαを5%から0.5%にすることによって偽陽性率が低下することが分かる。上の3D図をベイズファクターについて描画すると以下のようになる。以前小生は、「統計的検定量の利便性を維持しつつ問題を解決するような実務的な指針を統計学者にはお願いしたいような気もする」と書いたことがあったが、期せずしてこの論文は小生のその願いへの回答になっているように思われる。Dieboldはこの論文の提言に対して冷淡であり、5%にしろ0.5%にしろp値の閾値という概念そのものの存在意義に疑念を呈している。Ramadoraiという名前もあり、Dieboldもそれを執筆陣の一人としてそのままエントリに掲載しているが、アルファベット順から外れており、論文本体にはその名前は無いので、おそらく誤記かと思われる(72人はRamadoraiを除いたベース)。