機械学習(二値分類問題を考えます)において不均衡なデータセット(クラス間でサンプルサイズが大きく異なる)を扱う場合、多数派のクラスのサンプルに対してサンプリング行い均衡なデータセットに変換するダウンサンプリングが良く行われます。いう論文で説明されています。具体的には、少数派クラスの事前確率が大きくなります。一般的な問題設定では、正例のクラスが少数派クラスであるので、正例と予測される確率(事後確率)が大きくなります。このバイアスの影響を除去しなければなりません。実際、FacebookのCTR予測に関する論文でも、このバイアスの影響を除去するために予測確率に対するcalibrationを行っていることが記載されています。バイアスの影響と予測確率のcalibration実験まとめバイアスの影響と予測確率のcalibration知りたいのは、ダウンサンプリングを行ったデータセットで学習されたモデルの予測確率と、元の不均衡なデータセットで学習されたモデルの予測確率の間の関係です。ここで、クラス0を負例、クラス1を正例とする二値分類を考えます。負例の数であり、ダウンサンプリングが行われたとします。ダウンサンプリング後の均衡なデータセットとします。