Calendar2019の2日目の記事です。はじめにこの記事では以下の論文から内容を抜粋して紹介しつつ、仮説検定のp値について述べます。Hypotheses紹介する論文は、自然言語処理の論文を書く上での仮説検定(もしくはベイズ推論)を行う方法を述べたものです。仮説検定のp値の解釈は難しく誤解されていることが多いため、より解釈しやすいベイズ推論も使うべきと主張しています。ここでは検定のp値について理解することに集中し、具体的な検定やベイズ推論の方法は扱いません。具体的な検定の仕方が知りたいなら、以下の論文が詳しいです。Processing仮説検定は提案手法の優位性を示すためによく用いられます。2つの手法の性能差は統計的優位であると結論づける)しかし検定のp値の意味は誤解されやすいので注意が必要です。以下の2つの記述はどちらも誤りです。とき、帰無仮説が正しい確率は5%未満である。とき、帰無仮説は正しい。この記事を読めば、上の2つがなぜ誤りかを理解できるようになります(多分)。自分はQiita記事を書くのが初めてなので読みにくいかもしれませんがご容赦ください。大学で統計を勉強したことがあるので仮説検定の話題を選びました。仮説検定の基礎p値を理解するために、まず仮説検定について復習します。精度が出るものとします。value)であり、データセットから計算されるような経験的な値ではありません。成り立つかどうか(つまり提案手法が既存手法を上回るといえるかどうか)です。考え、これを検定します。これはデータセットを用いた実験結果を表していて、例えば品詞推定タスクの場合なら、データセット中の全ての単語に対する品詞推定の正誤の結果を集めたものです。下図が仮説検定の流れを表しています。以上に珍しい値が出る確率」です。珍しいことを意味します。p値の定義を数式で書くと以下になります。ランダムに得られる観測を表す確率変数です。未知のデータに対する品詞推定の正誤です。未満でしか起こらない)ということなので、そもそも仮定が間違っているだろうと結論付けられる、というわけです。p値の2つの誤解を解く検定のp値の定義を述べたところで、最初に挙げたp値の2つの誤解を解決します。以上に珍しい値が出る確率」が0.05未満であることを表すのでした。とき、帰無仮説が正しい確率は5%未満である。そもそも確率的な事象ではなく「何%の確率で正しい」という言い方自体ができないからです。(我々は知らないが)ある一つの値に定まっていて確率変数ではないと考えています。とき、帰無仮説は正しい。仮説検定において、p値が大きいときは何も言えることはありません。"積極的に採用する"根拠にはなりません。いうわけで、2つの主張が誤りであることが分かりました。p値はその正確な定義が複雑であるために解釈が難しく、意味を誤解されがちです。信頼区間についてp値の2つの誤解が解決したところで、信頼区間について少し述べておきます。p値の定義が結構込み入っていて解釈しにくいということはもう述べましたが、信頼区間はそれ以上に解釈しにくいです。確実に言えることは、次の解釈は誤りだということです。ある値に定まっている定数であって確率変数でないことから明らかです。95%の確率で存在する区間」を知りたいことはあります。それを可能にするのがベイズ推論です。おわりにいかにもこれからベイズ推論の話をする流れなのですが、これは仮説検定やp値の解釈の話とはまた別なので割愛します。気になる方は論文を参照してください。結局、この記事では次のことだけ何回も強調していました。仮説検定ではパラメータは確率変数ではなく、ある真の値をもつと考える。したがって、「帰無仮説が正しい確率」とか「パラメータがこの区間に入る確率」などという言い方はできないようするにp値や信頼区間の解釈はしづらく、誤解されやすいので気を付けましょうということです。手法の統計的優位性を示すためにp値を使ってはいけないということではないです。適切な検定をしていれば全く問題ありません。2本当はベイズ推論も含めてもっと網羅的に書きたかったのですが執筆力が足りず書けませんでした。信頼区間の正確な定義はp値以上に煩雑なので省略します。仮説検定によって示される統計的優位性は必ずしも実用的な優位性(提案手法と既存手法の間には大きく差があること)を意味しないという問題はあります。この問題についても紹介論文の中で言及されており、ベイズ推論が有効であることも述べられています。upLoginユーザーは見つかりませんでした。