Les tests A/B sont l’une des techniques les plus utilisées pour l’optimisation des pages. Optimizely, Unbounce ou encore Kameleoon ne sont que quelques solutions vous permettant de prendre de meilleures décisions basées sur les données plutôt que sur certains instincts créatifs.
Mais pour éviter certaines erreurs de jugement, nous devons définir un niveau de confiance, connu comme « la signification statistique« . Cette signification statistique est le seul paramètre dont vous avez besoin pour mettre un terme à votre test.
Comme nous l’explique wikipedia, un résultat est dit statistiquement significatif lorsqu’il est improbable qu’il puisse être obtenu par un simple hasard.
La signification statistique est atteinte lorsque la probabilité qu’une variation dépasse l’original est d’au moins 95%. Cela signifie qu’il y moins de 5% de chance que le résultat sera différent lorsqu’il sera appliqué sur un échantillon plus grand. Dans notre cas, tous les visiteurs de votre site.
Ainsi, plus vous vous y approchez, moins vous avez de chance de définir que telle ou telle version à plus efficace alors que cela n’est pas le cas. Pour autant, il existe un certain nombre d’autres facteurs à prendre en compte avant de définir le gagnant.
La taille de l’échantillon
Nous en parlons souvent. Faites attention à la taille de l’échantillon. Pour chaque test que vous allez effectuer, vous avez trois résultats possibles :
- De bons résultats
- Des faux négatifs
- Des faux positifs
Alors que les faux positifs et les faux négatifs et ne peuvent pas vraiment être complètement évité, utiliser un échantillon plus large va toujours vous aider à réduire leur probabilité. Comme nous en parlions dans l’article L’A/B testing n’est qu’un mythe, il est difficile pour la majorité des sites de faire certains tests. D’autant plus que l’exécution d’une expérience sur un temps très long signifie – potentiellement – de passer à côté d’autres tests peut être plus bénéfiques. Il est donc important de trouver un équilibre viable pour votre entreprise.
Les cycles de vente
Tous les tests doivent être suffisamment long pour couvrir des cycles de vente complet (une semaine complète ou un mois complet) pour prendre en compte certains facteurs externes. Les week-ends, le versement des salaires, les jours fériés…doivent également être pris en compte lors de vos tests. Même si votre site a une très forte affluence et peut atteindre la signification statistique en deux jours, si le test se déroule du mercredi au jeudi à la fin du mois, il est peu probable que le résultat sera pertinent sur le long terme. Ceci est particulièrement important alors que Noël approche. Ce qui est valable en novembre et en décembre peut ne plus l’être en janvier. La clé ici est d’être conscient de cela et faire vos tests en conséquence.
Des tests non concluants
Il n’est pas toujours possible d’exécuter des tests jusqu’à l’obtention de la signification statistique. On voit souvent des tests qui ne désignent pas de gagnant précis. Les tests qui n’ont pas d’impact clair pendant une longue période de temps peuvent être préjudiciables pour votre business. Il faut donc savoir quand couper et continuer à avancer.
Même si un résultat négatif/non concluant peut laisser un petit impact sur votre ego, il ne doit en aucun cas être considéré comme une défaite ou une perte de temps. Chaque test que vous ferez vous apprendra quelque chose sur votre site, votre cible et leur comportement. Ces apprentissages constituent une partie importante du processus d’optimisation et finira par vous aider à formuler de meilleures hypothèses que vous pourrez valider à l’avenir.
Assurez-vous de prendre le temps de vraiment comprendre ce qui s’est passé dans chaque test, surtout si le résultat est négatif ou non concluant. Il n’y a pas de test inutile.
