Les mathématiques derrière les tests A/B

Le test A/B est une technique puissante permettant de comparer les performances de deux versions différentes d’un flow, d’un paywall ou d’un onboarding. L’objectif ultime est de déterminer quelle version est la plus efficace en se basant sur le revenu moyen par utilisateur sur une période de 12 mois. Toutefois, attendre une année complète pour collecter des données et prendre des décisions n’est pas pratique. C’est pourquoi le revenu par utilisateur sur 2 semaines est utilisé comme métrique proxy, choisi sur la base d’une analyse des données historiques pour approximer la métrique cible. Pour obtenir des résultats précis et fiables, il est essentiel d’utiliser une méthode statistique robuste, capable de traiter des types de données variés. La statistique bayésienne, une approche populaire dans l’analyse de données moderne, offre un cadre flexible et intuitif pour les tests A/B. En intégrant les connaissances préalables et en les actualisant avec de nouvelles données, les méthodes bayésiennes permettent une meilleure prise de décision face à l’incertitude. Ce document fournit un guide complet de l’analyse mathématique utilisée par Adapty pour évaluer les résultats des tests A/B et fournir des informations précieuses pour la prise de décision basée sur les données.

Approche d’Adapty en matière d’analyse statistique

Adapty adopte une approche globale de l’analyse statistique afin d’évaluer les performances des tests A/B et de fournir des résultats précis et fiables. Notre méthodologie repose sur les étapes clés suivantes :

1. Définition de la métrique : Pour mener un test A/B avec succès, vous devez identifier et définir la métrique clé qui correspond aux objectifs spécifiques de l’analyse. Adapty a exploité une quantité importante de données historiques provenant d’applications d’abonnement pour déterminer quelle métrique joue le rôle de proxy pour l’objectif à long terme du revenu moyen après 1 an — il s’agit de l’ARPU après 14 jours.
2. Formulation des hypothèses : Nous créons deux hypothèses pour le test A/B. L’hypothèse nulle (H0) suppose qu’il n’existe pas de différence significative entre le groupe de contrôle (A) et le groupe test (B). L’hypothèse alternative (H1) suggère qu’il existe une différence significative entre les deux groupes ou plus.
3. Sélection de la distribution : Nous choisissons la famille de distribution la mieux adaptée aux caractéristiques des données et à la métrique observée. Le choix le plus fréquent est la distribution log-normale (en tenant compte des valeurs nulles).
4. Calcul de la probabilité d’être le meilleur : En utilisant l’approche bayésienne pour les tests A/B, nous calculons la probabilité d’être la meilleure option pour chaque paywall ou variante d’onboarding participant au test. Cette valeur est certes liée aux p-values utilisées auparavant, mais elle représente une approche fondamentalement différente, plus robuste et plus facile à comprendre.
5. Interprétation des résultats : La probabilité d’être le meilleur correspond exactement à ce que son nom indique. Plus cette probabilité est élevée, plus une option a de chances d’être le meilleur choix pour la tâche. Vous devez déterminer vous-même le seuil de décision — celui-ci doit dépendre de nombreux autres facteurs propres à votre situation, mais un seuil couramment utilisé est de 95 %.
6. Intervalles de prédiction : Adapty calcule des intervalles de prédiction pour les métriques de performance de chaque groupe, fournissant une plage de valeurs dans laquelle le paramètre réel de la population a de grandes chances de se situer. Cela permet de quantifier l’incertitude associée aux métriques de performance estimées.

Détermination de la taille de l’échantillon

Déterminer une taille d’échantillon appropriée est essentiel pour obtenir des résultats de test A/B fiables et concluants. Adapty prend en compte des facteurs tels que la puissance statistique et la taille d’effet attendue, qui restent importants même dans l’approche bayésienne, afin de garantir une taille d’échantillon adéquate. Les méthodes d’estimation de la taille d’échantillon requise, spécifiques à l’approche bayésienne que nous utilisons désormais, assurent la fiabilité de l’analyse.

Pour en savoir plus sur les tests A/B, nous vous recommandons de consulter notre documentation sur la création et l’exécution des tests A/B, ainsi que sur les différentes métriques et résultats des tests A/B.

Le cadre analytique d’Adapty pour les tests A/B repose désormais sur une approche bayésienne, mais l’accent reste mis sur la définition des métriques, la formulation des hypothèses et le choix des distributions. Plutôt que de calculer des p-values, nous calculons désormais les distributions a posteriori et la probabilité que chaque variante soit la meilleure. Nous déterminons également des intervalles de prédiction. Cette approche révisée, plus robuste et tout aussi complète, est conçue pour fournir des insights plus intuitifs et plus faciles à interpréter. L’objectif reste d’aider les entreprises à optimiser leurs stratégies, améliorer leurs performances et stimuler leur croissance grâce à une analyse statistique solide de leurs tests A/B.