驚異のアニヲタ社会復帰の予備スマートフォン用の表示で見る驚異のアニヲタ社会復帰の予備2017-11-27ある2群の比較で、介入群の前後比較では有意で、非介入群の前後比較では有意でなかったときに、このふたつの結果を比較して「介入群で有意に改善が認められた」と結論づけるのがダメなのはどうしてですかという質問を受けた。人ずつの2群に対して,片方にはアンチエイジング効果がありそうな薬、対照にはプラセボを与えて、投与時(t=0)と6ヶ月後(t=6)に効果をそれぞれ測定する。比較で有意ではなかった。これらの結果をもって、「介入群の薬は、有意に効果があった」と結論づけている。これがダメなのはどうしてだろうか。比較」であり、「介入群と対照群の比較」は行われていないことに注意しなければならない。いやいや、「介入群のp値」と「対照群のp値」の比較をもって、「介入群と対照群の比較」が行われているでしょう、と思う方もいるかもしれないが、「介入群と対照群の帰無仮説検定」は行われていないことに注意しなければならない。この研究で本当に比較すべきだったのは、「介入群でのスコアの改善具合と、対照群でのスコアの改善具合」の比較だった。エラーが制御されない」からだと思う。いうのが理論的な枠組みだが、もうちょっとわかりやすくならないかと聞かれたので、シミュレーションをしてみる。エラーが制御されない」状況を示すため、帰無仮説が真という、本当は神様しか知らない状況をシミュレーションで作り出す。正規分布から両群ともにランダムにデータを作る。対応のあるt検定をする。シミュレーションでは10000回行う予定なので、p値は20000個出る。