データサイエンスTweet近年、実験的なプロダクトイテレーションの増大を受けて、新しい製品の開発が急増しています。製品を変化させると、主要なメトリクスをシフトさせるような反応がほぼ間違いなく起こります。そのため、製品を変化させた場合の影響を理解し、適切な結果が得られるようにすることが不可欠です。2014年7月、Facebookはユーザーに対して、核となるモバイルアプリのメッセージオプションを廃止すると通知し始めました。すると、アメリカの約2,000万人のiOSユーザーは、1ヶ月以内に別個のMessengerアプリをダウンロードしました(図1参照)。別の例として、製品の通知アルゴリズムへの変更によって影響を受ける可能性のあるメトリクスを考えてみましょう。通知を見る人の数、通知を受け取って何らかの行動をとる人の割合、ランディングページまでたどり着く人の割合、そして製品と積極的に関わる人の割合。これらのメトリクスすべて、そしてさらに多くのメトリクスが、製品の変更により影響を受ける可能性があります。製品の変化は必ずしも意図的なものではありません。ユーザーがアプリをダウンロードしたり、アップデートしたり、メッセージを送信したり、通知を受け取ったりすることを阻害するようなバグは、主要メトリクスに大きな影響を与える可能性があります。そのため、特に大規模な製品変化やアプリストアのアップデートの後には、主要メトリクスを慎重に追跡することで、バグが引き起こす損害を検知、理解、抑えることが可能になります。製品への変更の影響を評価する最善の方法は、A/Bテストです。A/Bテストでは、2つ以上のパターンをランダムにユーザーに見せ、統計的分析によってどのパターンが決められた目標に対してより効果があるかを見極めます。変化が比較的小さい時には、A/Bテストの利用が特に大切になってきます。場合、変化は比較的小さいものです。Facebookの前述の例のように変化が大きい場合には、時に「目分量で測る」ことも可能です。通常、A/Bテストなしに効果的に影響を検知、測定することはほぼ不可能です。重要なポイント製品の変化は、それが新しい製品の発表でも、通知戦略の変更でも、意図しないバグであったとしても、間違いなくメトリクスに変化をもたらします。Capitalのデータサイエンス・チームが制作しました。メールをお寄せください。大胆な創業者たちが、伝説的な起業を作ることを助けます。記事情報この記事は原著者の許可を得て翻訳・公開するものです。スタートアップに関する情報やノウハウを届けるメディアです運営元FoundXスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。