個の独立同分布のランダム変数を得ることができ、t検定を使ってその平均がゼロに等しいかどうかをテストすることが可能です。同等に優れた関数であるという帰無仮説及びそうではないという対立仮説を(もし片側の対立仮説を望むならそれも)検定することができます。この簡単なセットアップでできることはたくさんあります。線形回帰やロジスティック回帰で行うように検定することができます。異なるチューニングパラメータのモデル、2種類のモデル(ニューラルネットとランダムフォレストなど)、または先月のモデルと今月のモデルなども比較可能です。このアプローチは万能ではありません。1つは、データの使用法に無駄があることで、結果的に非常に非効率的です。個の検定点のみが使われます。個の点をモデルの適合と推定の両方に使うことができます。基本的に、これらのパラメトリックモデルでこれを行うのは、一般的な機械学習モデルでは不可能な、追加機能を追加する際の「自由度」を容易に把握できるからです。この非効率性を改善しようとすれば、単一の訓練/検定分割の代わりにK-分割交差検証を使うことになりますが、これだとうまくはいきません。これを使うには、期待される損失の定義を変更する必要があります。固定値と見なしていましたが、交差検証のセットアップでは各点がそのフォールドにおいてランダムであると考えられるため、これが不可能になります。それ自体には大きな問題はありません。)においてどの程度適合するかという仮説に変えるだけです。ランダムにすると、たとえ同じフォールドであっても、ホールドアウト点の損失差が独立同分布でなくなることにあります。依存するようになることが原因です。調整することで、この問題を回避します)。そのため、点の独立性はもはや保持されず、結果的に同じt検定の方法が使えなくなります。これの対策として考えられるのは、K-分割交差検証ではなくLOOCV(一個抜き交差検証)を使うことです。LOOCVでは、異なる点の損失差は全て交換できるため、交換可能性の適切な中心極限定理を見つけて検討モデルを正しい条件下に置けば、機械学習モデルのための強力で一般的な仮説検定アプローチを手にできるでしょう。ツイート翻訳に対するフィードバックがございましたら、メールまたはGitHubのIssueよりお寄せください。Ltd.リクルートグループサイトへ。