{"partition": "head_middle", "source_domain": "blog.octo.com", "digest": "sha1:HVUDB5KAW6FOMSX3N3FCLJ3K4WMBG7D4", "path": "/lustre/fsn1/projects/rech/qgz/uzq54wg/processed_redpajama/base_processing/output/fr/2016-26/000_00003.parquet"}
Les Patterns des Grands du Web – Test A/B
Posté le 11/04/2012par Benoit Guillou Tweet
Le test A/B est une méthode de développement produit qui permet d’expérimenter la performance d’une fonctionnalité. On peut par exemple tester un mail, une page d’accueil, une bannière publicitaire ou un parcours de paiement.
Cette stratégie de test permet de valider les différentes versions d’un objet en agissant sur une unique variable : le libellé d’un objet de mail ou le contenu d’une page par exemple.
Comme toute stratégie de test mesurant une performance, le test A/B ne peut se faire que dans un environnement capable de mesurer le succès d’une action. Pour prendre l’exemple de l’objet du mail, il faudra être capable de mesurer son taux d’ouverture afin de comprendre quel message est le plus percutant. Pour une page, on regardera le taux de clic, pour un parcours de paiement le taux de conversion.
Mise en œuvre
La méthode en elle-même est donc relativement simple. Vous avez des variantes d’un objet que vous voulez faire tester à différentes sous-populations. Une fois la meilleure variante trouvée, vous la soumettez au reste de la population.
Simple comme bonjour ? Pas tout-à-fait.
La première interrogation porte sur la nature de la variation : où placer le curseur entre la micro optimisation et le grand chambardement ? Tout dépend de la phase d’apprentissage dans laquelle vous vous trouvez. Si vous êtes dans une phase de découverte client (cf. MVP, Lean Startup, Customer Discovery), les tests A/B peuvent faire complètement varier la version testée. Vous pouvez par exemple faire 2 pages d’accueil différentes, avec des messages marketing différents, une disposition différente, des images différentes pour tester le taux d’inscription sur 2 populations. Dans une phase plus avancée du projet, où la variation d’un objectif de conversion de 0,1% fait la différence, les variations devront être plus fines (taille, couleur, disposition d’un bouton par exemple).
La seconde interrogation concerne votre segmentation. Comment allez-vous définir vos différentes sous-populations ? Il n’y a pas de formule miracle mais une règle fondamentale : le critère de segmentation ne doit pas influer le résultat de l’expérience (Test A/B = une seule variable). On peut prendre un critère basique : la date d’inscription, l’ordre alphabétique, … tant qu’il ne rentre pas en compte dans les résultats.
La troisième question est celle de la condition d’arrêt. A partir de quand a-t-on assez de réponses pour généraliser le résultat de l’expérimentation ? Cela dépend du trafic que vous arrivez à générer, de la complexité de votre expérience et de la différence de performance entre vos différents échantillons. Autrement dit, peu de trafic, avec des résultats très proches les uns des autres suivant les populations fera qu’un test dure plus longtemps. Les principaux outils du marché (Google Website Optimizer, Omniture Test&Target, Optimizely) offrent la possibilité de savoir si le test que vous menez est signifiant. Si vous gérez votre test manuellement, vous devrez réviser quelques lois statistiques et d’échantillonnage. Pour vous aider, des sites web se proposent de calculer cette pertinence à votre place. (exemple : http://visualwebsiteoptimizer.com/ab-split-significance-calculator/)
Voyons maintenant deux pièges à éviter lorsqu’on commence l’A/B testing. En premier, ne regarder la performance d’un test que vis à vis d’un seul objectif est trompeur. Dans la mesure où l’on met en place un test qui change l’expérience de l’utilisateur, il est nécessaire de suivre les autres objectifs business. En changeant la page d’accueil d’un site par exemple, vous suivrez bien sur votre taux d’inscription, tout en n’oubliant pas de regarder la performance du paiement.
L’autre piège est d’offrir une expérience différente à une population dans le temps. La solution que vous mettez en place doit absolument être consistante durant la durée de l’expérience : un utilisateur qui revient doit être exposé à la même version de l’expérimentation, tant pour la pertinence des résultats de l’expérimentation que pour l’expérience utilisateur. Une fois la meilleure solution déterminée, il faudra bien sur la généraliser.
Chez qui ça fonctionne ?
On ne peut pas ne pas citer les pionniers des tests A/B : Amazon. Les acteurs web dans leur ensemble sont enclins à partager leurs expérimentations. Vous trouverez facilement sur le web des exemples de Google, Microsoft, NetFlix, Zynga, Flickr, Ebay et bien d’autres avec des résultats parfois surprenants. Le site http://www.abtests.com/ recense certaines expérimentations.
Et chez moi ?
Le test A/B est avant tout un droit à l’expérimentation. Se mettre dans une démarche d’apprentissage, avec dès le départ des hypothèses de résultats et un modus operandi, est une source de motivation pour les équipes produit. Ce pilotage à la performance permet de mettre en place un management produit piloté par la donnée.
La mise en place d’une solution de test A/B est relativement simple. Google Web Site Optimizer, pour ne citer que lui, permet de mettre en place un outil directement couplé aux indicateurs Google Analytics. Avec un investissement moindre, vous donnez à vos équipes le moyen d’objectiver leurs actions par rapport à une finalité produit.
Retrouver toutes les pratiques des Géants du Web sur le site dédié (www.geantsduweb.com) : pdf de l’ouvrage à télécharger, vidéo et compte-rendu de la présentation « Décrypter les secrets des Géants du Web »
37Signals, Test / AB sur la page de signup : http://37signals.com/svn/posts/1525-writing-decisions-headline-tests-on-the-highrise-signup-page
Tim Ferris : http://www.fourhourworkweek.com/blog/2009/08/12/google-website-optimizer-case-study/
Wikipédia : http://fr.wikipedia.org/wiki/Test_A/B
Les Patterns des Grands du Web – L’obsession de la mesure Les Patterns des Grands du Web – la bêta perpétuelle Formations sur les méthodes agiles à partir de septembre Les Patterns des Grands du Web – Les artisans codeurs Les Patterns des Grands du Web – Lean Startup Cet article a été posté dans Méthode et taggué Lean, Les géants du web, Les grands du web, Startup, Tests. Bookmarkez le permalien.
← ElastiCache d’AmazonUne démarche de tests de performance →	9 thoughts on “Les Patterns des Grands du Web – Test A/B”	Selon Rémi :	11/04/2012 at 08:24	J’ajoute une suggestion d’outil : http://www.abtasty.com
Nous avons gagné le 2ème prix de la statup academy hier soir. Il s’agit d’un outil français d’AB Testing :-)
Selon Benoit :	11/04/2012 at 08:46	Désolé j’ai oublié de vous citer !
Pingback: OCTO talks ! » Les Patterns des Grands du Web – la bêta perpétuelle Pingback: OCTO talks ! » Les patterns des grands du Web – Fluidité de l’expérience l’utilisateur Selon Benjamin :	06/06/2012 at 13:16	Google vient d’annoncer la possibilité de faire des expérimentations et des tests A/B directement dans Google Analytics.
Ceci devrait rendre encore plus facile le suivi et la validation des hypothèses par rapport aux objectifs. Google intègre de plus en plus ces outils au sein de Google Analytics : Google Webmaster Tools, Google Adwords, Page Speed. C’est vraiment puissant de pouvoir confronter toutes les dimensions apportés par ces outils avec la conversion des objectifs métier d’un site.
Selon Benoit :	06/06/2012 at 13:57	A ton avis c’est une stratégie de test avant de l’intégrer dans le produit phare ?
Je teste google webmaster tools, ca marche et paf je l’intègre à GA ?
Selon Remi :	06/06/2012 at 14:06	J’ai fait un petit article sur le sujet
http://deeper-webanalytics.com/google-content-experiments-vs-google-website-optimizer-les-differences
Selon Mathieu Poignant :	27/07/2012 at 16:49	Un petit tutorial sur l’utilisation des Experiments de Google Analytics :
http://webdesign.tutsplus.com/tutorials/applications/split-testing-with-google-analytics-experiments/
Pingback: OCTO talks ! » La technique au service du Lean Startup Laisser un commentaire Annuler la réponse.	Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *Commentaire Notify me of followup comments via e-mail