Et si l’AB Testing de Google était bidon ?

Elastic Path a eu l’idée de tester le système d’AB Testing proposé par Google (google website optimiser).

L’idée est simple : paramétrer le moteur pour faire en fait un test « AA ».

Cela veut dire qu’on présente à l’internaute toujours la même page : les deux options sont les mêmes.

Normalement, on devrait avoir comme réponse que les deux alternatives sont réellement équivalentes, à un chouilla près.

Et bien, d’après leurs tests, l’une des propositions est jugée par le moteur de Google comme apportant un gain de près de 5% !

A mon humble avis, cela met en avant la technicité de ce type de tests, ou il vaut mieux avoir un statisticien sous la main pour bien analyser les résultats… Parce que l’écart, de 5%, apparaitrait bien comme significatif, au commun des mortels : si je vous dis qu’avec telle version de la page, vous allez augmenter de 5% la performance de la page, vous allez le faire sans hésiter !

Avez vous pu faire ce type de vérification « AA » avec les autres outils du marché ? ça serait intéressant de vérifier ce que donne les outils de MVT…

4 commentaires

  1. Je t’invite à lire les informations complémentaires données par Chris Goward dans les commentaires :
    « The improvement for the copy of the Control were not statistically significant.
    This is a great example of why it’s best to make decisions based on statistical significance whenever possible. Clearly, the copy of the Control is unlikely to actually perform better than the Control.
    In the “real world”, though, other deadlines and org constraints make statistical significance unachievable. Janis and the Elastic Path were great at rolling with the data and making the best decision possible in the very short time-period.  »

    Quelque soit l’outil de testing utilisé, il y a des bonnes pratiques à respecter tant sur le suivi du test que dans l’analyse des résultats.

  2. @Vincent> On est d’accord : il faut un bon niveau d’expertise pour bien analyser les réponses, et même bien mettre en oeuvre ces mesures.

  3. Bonjour François,

    Difficile de se faire une opinion sur le cas concret que vous évoquez. Cela dépend des tests réalisés. Réellement, j’ai déjà vu des modifications obtenir des gains de 5%. Maintenant tous les outils Google ne sont pas précis voire infaillibles comme par exemple le générateur de mots-clés Google. Il est préférable de faire ses analyses et calculs soi-même sans pour autant être un expert en statistisques.

    amicalement

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *