caseABテストの統計的有意性に関してこの記事に関連するタグABテストCROシェアTweetABテストツール「DLPO」では、ABテストをした結果が明確な数値で表されます。下記はボタンの色をテストした結果です。それ以外に「オレンジ」「青」「緑」「ピンク」の計5パターンでテストをしてみました。結果の善し悪しは赤枠のCVRで見ます。CVR4.44%ですので、チャンピオンパターンは「2.オレンジ」になりますでは、チャンピオンの「2.オレンジ」はデフォルトに比べてどれくらい改善されているでしょうか?どれくらい改善されたかは上記赤枠内の改善率を見ます。効果の良い「2.オレンジ」はデフォルトに比べて、改善率が11.26%でした。月間のCV数が数千あるサイトですと、11.26%の改善で数百のCV純増が見込めますので、かなりの効果になります。ところで、この改善率11.26%は信頼できうる値でしょうか。言いかえると、統計的に「2.オレンジ」が今後もチャンピオンになりうると言いきって良いかでしょうか。これを見るためには下記赤枠内の「改善信頼度」を見ます。この「改善信頼度」は0%~100%の値をとります。デフォルトを基準として各パターンの「改善信頼度」が計算されます。デフォルトに対してCVRが勝ってるパターンの「改善信頼度」は100%に近づきます。逆にデフォルトに対してCVRが負けているパターンの「改善信頼度」は0%に近づきます。「2.オレンジ」の改善率は11.26%で、改善信頼度は94.0%となっており、デフォルトに対してCVRの差が開けば開くほど100%に近づくようになっています。逆に負けているCVRの差が開けば開くほど0%に近づくようになっています。この「改善信頼度」が90%を超えていれば、統計的に有意な差がついていると言えますので、我々も「改善信頼度」が90%を超えた時点で、そのチャンピオンパターンに固定するようにしています。この「改善信頼度」はどのような計算で算出されているでしょうか?こちらに関してはまた別の機会でお話ししたいと思います。