いう事柄が、世の中には多々ある。統計学の教科書もまた,そうした話題にあふれていると思う。いうのもそういう話題の一つであって(少なくとも私にとっては)、教科書を勉強しているぶんには平和なのだけれど,現実のデータ解析の文脈に当てはめて考えると、これが非常に難しい(少なくとも私にとっては)。先日もそう思い知らされる出来事があった。仕事の関係で、「いったい多重比較はどんなときに行うべきなんですか?」と真正面から問われ、言葉に詰まってしまったのである。「なぜ」とか「どうやって」ではなくて、いつ、と問われているところが厄介である。FWEとはなにかをくどくどと説明して,相手がうんざりするのを待てばよい。FWEをコントロールすべきなのはいかなる状況においてか」なのである。少なくとも私にとっては。343-349.多重比較全般に関する臨床疫学者向けの啓蒙論文。類似の文献は山ほどあるのだが、とりあえずタイトルが魅力的なものから読んでみた。先生方、タイトルは大事ですよ。「多重比較はいつ必要か」という問いに対して、著者らは比較的に穏健な、悪く言えば煮え切らない立場をとっていて、「そもそも多重比較に調整なんて要らねえよ」というロスマン流の極左的(?)批判は採らないが、多重性の調整は常にいつでもぜったい必要だという極右的(?)主張にも組しない。検証研究の場合は必要だけど、探索研究の場合にはそうでもない、とのこと。探索研究では仮説がデータ依存的で、仮説検定は意思決定ではなく記述のための道具にすぎないだろうから、との仰せである。ううむ...そもそも記述のために検定なんか使うなという反論がありそうだが、それはまた別の話になるので置いておくとしても、検証と探索というのは理念型であって、たいていのデータ解析はその両極の間をうろうろしているのだから、そうやって彷徨っている哀れなユーザ向けに、課題状況と多重性調整との関係をどう捉えればよいのか、もう少しアドバイスを頂けるとうれしかったです。適応分野をある程度狭めたうえで、きちんと理詰めで考えていけば、検証-探索というラフな場合分けではなく、もう少し踏み込んだ処方箋がありうるのではないかしらん。ま、自分で考えろってことですね。紹介されていた、長期臨床試験の中間解析の話題が興味深かった。P値がどうだったら試験を中断するか、という話。ー、そういう話題があるんですね。1236-1238.多重比較についての議論の際によく引用されているようなので、ついでにざっと目を通してみた。エラーが増えるから、(3)ファミリーに含めるべき比較の定義が恣意的だから。そもそも多重比較法のロジックはNeyman-Pearson的意思決定支援の枠組みのなかで考案されたものであって、エビデンス評価のためには推定とか尤度比とかベイズ流の手法とかを使うべきだ。いう感じだが、やはり後の号でそういうコメントが載った模様。scholarでは1939件引用されていることになっている。BMJであることを考慮しても,これはかなり多いほうだと思う。ソーシャルメディアでは短くて乱暴な発言のほうが拡散されやすかったりするけど、学術論文にもちょっとそういう面があるかもしれない。1997)、その2論文に対するコメント。元論文を読んでいないので文脈がわからない箇所があるし,書き方がちょっとくどすぎるようにも思うのだが,それでも大変面白かった。著者いわく、多重比較をめぐる論争は、科学的方法とはなにかという大問題に関わっている(おっと,大きく出ましたね)。Fisherにとってp値とは、観察データと単一の帰無仮説との間の統計的な距離であり、統計的な証拠の強さの指標であった。基づく推論システムに基づく限り、証拠の強さを測る方法はないし、特定の仮説の真偽の判定は許されない。純粋に演繹的な推論システムはデータから仮説へという帰納的なはたらきを持たないからである。科学を推論の営みではなく、固定されたルール群に従う「帰納的行動」の営みとして扱うことならできる。このように科学のスコープを狭く限定する見方は、ポパー、カルナップ、ヘンペルといった同時代の科学哲学者たちと通じるものであった。Neyman-Pearsonの枠組みのなかでは、仮説検定が現在のように普及する理由はない。rateであるようにみえるからである。p値は証拠とエラーのふたまたをかけている。そのごまかしを露呈させるのが、たとえば多重比較の状況なのである。ある研究の中で500個の比較について検定したとしよう。有意水準5%なら、ほんとはどこにも差がなくたって、平均25個の有意差が得られる。いま20個得られたとしよう。これは偶然によるものだと「説明」できる。500個の比較のいずこにも差がないという帰無仮説をANOVAで検定すれば、総体としての結果はこの帰無仮説から離れていないということになろう。これに対して、いやいや、ひとつひとつの比較は認識論的にみて質的に違うものなのだから、依然として個別の比較のp値なり尤度比なりを求めることには意義がある、という見方もできる。この2つの立場の対立の根底にある本当の問題は、証拠の強さの評価の方法としてp値が良いかどうかとか、いや尤度比やベイズファクターを使ったほうがいいんだとか、そうということではない。我々がいろいろな比較を認識論的に区別できると信じるかどうか、すなわち、ある差についての科学的説明の良さを判断する能力が我々にあると信じるかどうか、がキーポイントなのである。探索か検証かという区別よりも、こっちのほうがはるかに腑に落ちる。