L’A/B testing n’est qu’un mythe

En tout cas pour la plupart des gens…

Chaque jour, des milliers de personnes se rendent sur leur lieu de travail, passent dans les mêmes rues, croisent les mêmes bâtiments, vont dans les mêmes restaurants et, pour bon nombre d’entre eux, commandent les mêmes plats. Su les parking, les voitures se ressemblent, les couleurs sont similaires. Mais un jour, alors qu’ils font leur trajet habituel, elles croisent une magnifique femme de rouge vêtue ou un bel éphèbe à la chevelure soyeuse. A cet instant, ces personnes s’arrêtent, certains prennent une photo qu’il iront poster sur leur compte Instagram, Twitter ou Facebook. Si, dans l’ensemble, les maisons, les voitures, les arbres et les gens autour d’eux n’ont pas changé, cet élément nouveau les a fait s’arrêter. Il en est de même sur Internet. Un simple changement sur votre site peut influencer les habitudes de vos visiteurs.

Le test A/B ne s’applique pas à la plupart des sites

Il existe plusieurs formules mathématiques pour calculer l’indice de confiance d’un test A / B. De manière générale, nous avons besoin d’un échantillon de données assez conséquent (et homogène) pour calculer ce fameux indice. , que tout site Web avec 100.000 visites / mois , vous auriez besoin mois pour obtenir des résultats fiables de test A / B. Ici vous avez une calculatrice pour vous de faire le test à la maison .

Pour valider l’efficacité d’une version par rapport à une autre, nous avons besoin d’une centaine de conversions générées dans les mêmes conditions. Cela inclus des conditions variables comme les jours de la semaine, la saison, la météo, la situation économique ou politique, etc… Cela peut sembler difficilie mais le fait est que ces variables font partie de l’équation.

Par conséquent, un test A/B n’a de sens que pour une grande enseigne ayant des milliers de visiteurs par heure pour lesquelles nous pouvons supposer que les conditions ne changent pas beaucoup. Pour les plus petites entreprises, l’AB testing ne permet pas vraiment de tirer des conclusions logiques car les hypothèses seront difficiles à prouver.

Ne jamais ignorer la taille de l’échantillon

Pour tous ceux d’entre nous qui ne sont pas accros aux stats et autre analyses, la taille de l’échantillon – dans le contexte de l’AB testing – est la quantité de visiteurs du site sur lequel nous envisageons de faire le test. Un échantillon de taille insuffisante signifie qu’il est statistiquement trop petit pour donner une représentation exacte de l’ensemble de la population (la population entière, dans ce contexte, signifie tous les visiteurs du site).

Si votre site draine 100 000 visiteurs par mois et que vous effectuez un test sur un échantillon de 100 visiteurs, soit 0,1% des visiteurs mensuels, vous n’obtiendrez pas de résultats concluants. L’évolution positive de la performance de vos pages dans ces conditions peut être simplement due au hasard.

Lorsque vous implémentez un changement sur votre site basé sur un échantillon de taille insuffisante, vous pourriez vous rendre compte que votre taux de conversion de suit pas la courbe espérée. Pire, dans certains cas, il pourrait même diminuer. Pour éviter cette erreur, vous devrez déterminer la taille appropriée de l’échantillon pour le test. Pour calculer le temps nécessaire pour effectuer votre campagne d’AB testing, vous pouvez utiliser gratuitement l’outil de Visual Website Optimizer

Cet outil va vous permettre de calculer le nombre de jours nécessaire à l’obtention de résultats fiables en fonction de votre propre situation. Le calcul est basé sur le nombre de versions que vous allez tester, les trafic de votre site, votre taux de conversion actuel, etc.

Qu’est-ce qui pourrait doubler mon taux de conversion ?

L’exemple classique d’un test A/B est de changer la couleur des boutons pour voir celle qui impacte le plus les conversions. Si vous travaillez pour CDiscount ou la Fnac et que vous obtenez des millions de pages vues par jour, vous pouvez vous permettre de valider efficacement cette hypothèse. Mais sans cette quantité de trafic, concentrez-vous sur des choses qui sont susceptibles d’apporter de très grandes différences dans le taux de conversion. Déplacez votre appel à l’action en au haut de la page au lieu du bas, testez différentes variations du titre (H1) de votre page pour vous assurer de garder l’intérêt de vos visiteurs. Testez deux mises en page complètement différentes…

Bien sûr, changer la couleur de fond des boutons à un impact sur le taux de conversion, nous le savons et de nombreuses études de cas sont là pour nous le prouver, mais sur un site à faible trafic, vous devez tester les choses qui auront un impact sur le comportement de l’utilisateur. Vous devez tester les choses que chaque personne qui atterrit sur votre site va voir, à savoir, les fondements mêmes de votre site.

Avant d’entrer dans le détail, posez vous toujours la question suivante : Qu’est-ce qui pourrait doubler mon taux de conversion ?