データ分析エンジニアのブログスマートフォン用の表示で見るデータ分析エンジニアのブログ日常のことからプログラミングや機械学習まで@六本木この広告は、90日以上更新していないブログに表示しています。A/Bテストいま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのような手法でABテストを実施しているのかをまとめてみました。ちなみに対象は以下の4社で、参考にしたのは各企業のブログがほとんどです。TwitterLinkedinAirbnbPinterest発表したスライド各企業のA/Bテスト基盤における主な機能シリコンバレーの各IT企業のA/Bテスト基盤について調べた感想は、部分部分で違った機能を提供してはいるものの、コアとなるような主要な機能はどこもちゃんと取り入れているなという印象でした。下の表が機能一覧と導入している企業についてまとめたものです。これらの機能がどういったものなのかを簡単に説明していこうと思います。MetricsはLinkedinでしか用いられていない機能なのでここでの説明は割愛します。気になる人はスライドをチェックしてみてください。自動集計これは言わずもがなだと思います。手動での集計では手間がかかるため、どの企業もダッシュボードで数値を確認できるようになっていました。コホートコホートはダッシュボード上で確認できる指標を国や性別、OSなどの属性ごとに見ることができる機能です。数値が変化していたときにそれがどの属性やグループで起こっているものなのかを簡単に確認することができます。Validationはテスト対象と比較対象のグループの割り振りが均等、もしくは意図した通りになっているかどうかをチェックするための機能です。裏側の仕組みにはカイ二乗検定が使用されています。t検定t検定も全てのA/Bテスト基盤に用いられていました。テスト対象と比較対象の指標の値とp値が時系列で確認できるようになっており、p値が0.05以下になると棒グラフのバーが色付けされるようになっているシステムもあります。80%になるまでの期間を教えてくれる機能です。A/Bテストの終了までの期間をいつまでにするかの目安として役に立ちます。A/AテストA/Aテストはテスト対象と比較対象に全く同じパターンを出す手法です。同じものを見せることでどのくらい値がばらつくのか、誤差の範囲なのかを確認することができます。Validationのようにテストの割り振りが上手くいっているかのチェックにもA/Aテストを使用しています。最後に今回は社内A/Bテスト勉強会で発表させていただいた内容をブログにさせてもらいました。今回はurllib2とElementTreeというモジュールを使...2014-06-09PythonでURLのプロトコル(http://,https://)を消す方法こんにちは。(1)注目記事はてなブログをはじめよう!ishitsukajunさんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。