今月初めに米統計学会がp値の使用に関する6つの原則を公表した。Economics)。日本でもこの6原則は各所で取り上げられており、Naverまとめがその辺りに詳しい。米統計学会のサイトでは、この6原則を提示した声明文書と共に、同文書のp値の議論に関する21人の統計学者の反応も併せて公開している。p-Values」)で、今回の声明の精神は買うが、内容には若干の違和感がある、として以下の点を指摘している。p-hacking!(拙訳)文書の最初でのp値の略式の定義は曖昧で役に立たない*2。声明は、「帰無仮説」と、p値を計算する基となる「その根底にある仮定」とを区別している。帰無仮説とは、p値を計算する基となる仮定の一式である*3。「他のアプローチ」セクションでは、それらの手法の中には仮定がp値と同一のものもあるという事実を無視している。実際のところ、手法の中にはp値が入力となるものもある(=偽発見率)。声明は、「効果」のパラメータや概念が存在しない状況に仮説検定が適用される場合が数多くあるという事実を無視している。その場合、不確実性を推計ないし計算する対象が存在しない。声明は、頻度主義とベイズ主義の推計の決定的な違いを無視している。[脚注での追加指摘]声明には他にも次のような問題がある:0.05というp値を帰無仮説に反する「弱い」証拠と位置付けているが、証拠の強さは状況に決定的に依存する。数字およびグラフによるデータの複数のまとめを活用することを大いに推奨しているが、そうしたことが却って注意を逸らすことになり、下手をするとpハッキングへの入り口となるような状況も存在する。この後Starkは、彼自身が考えたより簡明な説明を、今回の声明の代替として提示している。science.(拙訳)科学の進歩の一部は、データに関する説明の候補を除外することから成り立っている。p値は、ある説明が適切かどうかを評価する助けとなる。評価の対象となる説明は「帰無仮説」と呼ばれることが多い。p値が小さければ、説明が誤っているか、説明は正しいが何か起こり難いことが起きたか、のいずれかである。その起こり難いことの確率はp値に等しい。小さなp値は説明が誤っている強い証拠である。データはその説明に疑義を投げ掛けている、ということである。p値が大きければ、その説明はデータを適切に表現している。それでもその説明が誤っている可能性はある。大きなp値は説明が正しい証拠にはならない。説明が誤っている証拠の欠如は、説明が正しい証拠ではないのだ。データが少量もしくは低品質ならば、あまり証拠を提供することはできず、そこで話は終わる。説明が適切か否かの明確な線引きは存在しない。科学的な文脈が問題となるのだ。p値は説明が正しいと仮定して計算される。p値は説明が正しい確率ではない。p値は効果の大きさないし重要性を測るわけではないが、実際の効果と偽の効果を区別する助けになる。その点で、効果量や信頼区間の推計を補完する。p値は、「効果量」という概念が意味を持たない状況でも使用できることがある。そのため、効果量や信頼区間の推計が役に立たない状況でも役に立つ可能性がある。すべての道具と同じく、p値も誤用され得る。一般的な誤用の一つは、p値の小さな説明を追い求め、追い求めた過程を考慮ないし報告することなしに、説明だけを報告することである。した「pハッキング」ないし「有意性ハンティング」の結果を選択的に報告し、一つより多い説明を調べたという事実(「多重性」)を報告しないことは、報告されたp値を人々を誤った方向に導くものとすることになりかねない。別の誤用は、データを説明する可能性が無い「藁人形」説明を検定することである。ここでいう「藁人形」説明とは、データの収集ないし生成過程とほぼ無関係の帰無仮説である。説明が非現実的ならば、p値が小さいことは驚くに値しないし、何の解明にもならない。多くの分野や多くの学術誌では、p値が0.05のようなある閾値より低い場合、そしてその場合のみ、結果が科学的に立証された、と見做している。これは科学としても統計学としても劣悪なやり方であり、pハッキングや選択的報告や多重性の無視や不適切ないし不自然な帰無仮説といった方法で分析を「弄ぶ」インセンティブを研究者に与えてしまう。した誤用は、後で間違いであることが明らかになったり再現ができなかったりする科学的「発見」につながりかねない。それが現在の科学の「再現性危機」の一因となったのである。Wikipedia、関連日本語記事1、関連日本語記事2。00:00p値の価値Tweet広告を非表示にする関連記事2014-09-07帰無仮説の検定は反証主義的な手法ではないということをアンドリュー・ゲルマンが強調している。Econometricsなるブログに上がってい...2012-07-10スター・ウォーズ/ピーチ姫の逆襲という論文をタイラー・コーエンが紹介していた*1。)はてなブログをはじめよう!himaginaryさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。