Prédictions dans les tests A/B

Bienvenue dans la documentation d’Adapty sur les analyses prédictives pour notre fonctionnalité de test A/B. Cet outil vous donnera un aperçu des résultats futurs de vos tests A/B en cours et vous aidera à prendre des décisions basées sur les données plus rapidement 🚀 grâce aux prédictions alimentées par l’IA d’Adapty.

Qu’est-ce que les prédictions de test A/B ?

Les prédictions de test A/B d’Adapty utilisent des techniques avancées de machine learning (notamment des modèles de gradient boosting) pour anticiper le potentiel de revenus à long terme des paywalls comparés dans un test A/B.

Ce modèle prédictif vous permet de sélectionner le paywall le plus efficace en fonction des revenus projetés sur un an, au lieu de vous appuyer uniquement sur les métriques observées pendant l’exécution du test. Cela vous permet de déterminer le gagnant de manière plus fiable et plus rapide, sans avoir à attendre des semaines que les données s’accumulent.

Comment fonctionne le modèle ?

Le modèle est entraîné sur un vaste ensemble de données historiques de tests A/B provenant d’une grande variété d’applications dans différentes catégories. Il intègre un large éventail de caractéristiques pour prédire les revenus qu’un paywall est susceptible de générer dans l’année suivant le début de l’expérience. Ces caractéristiques comprennent :

• Les transactions des utilisateurs et les taux de conversion sur différentes périodes
• La répartition géographique des utilisateurs
• L’utilisation de la plateforme (iOS ou Android)
• Les taux de désabonnement et de remboursement
• Les produits d’abonnement et la durée de leurs périodes (quotidienne, mensuelle, annuelle, etc.)
• D’autres données liées aux transactions

Le modèle tient également compte des périodes d’essai dans les paywalls, en utilisant les taux de conversion historiques pour prédire les revenus comme si les utilisateurs étaient déjà convertis. Cela garantit une comparaison équitable entre les paywalls avec et sans offres d’essai, car nous prenons également en compte les essais actifs susceptibles de générer des revenus à l’avenir.

En quoi le P2BB prédit diffère-t-il du P2BB classique ?

Nos tests A/B utilisent l’approche bayésienne : nous modélisons essentiellement la distribution des revenus par utilisateur (ou plus précisément « Revenus pour 1 000 utilisateurs »), puis nous calculons la probabilité qu’une distribution soit « vraiment » meilleure que l’autre et non par hasard — c’est ce que nous appelons la Probabilité d’être le meilleur ou P2BB (vous pouvez en savoir plus sur notre approche ici).

Il est important de noter que ce faisant, nous nous appuyons uniquement sur les revenus accumulés pendant la durée d’exécution du test. Ainsi, si vous deviez exécuter un test comparant un abonnement annuel à un abonnement hebdomadaire, vous devriez attendre très longtemps pour vraiment comprendre lequel est le plus performant. Une situation similaire se produit lorsque vous comparez des abonnements avec essai à des abonnements sans essai dans un test A/B — car les essais actifs susceptibles de faire pencher la balance vers un gagnant ne sont jamais pris en compte dans les revenus.

C’est là qu’intervient notre modèle prédictif. En s’appuyant sur la distribution actuelle des revenus dans un test A/B et entraîné sur un large jeu de données, il est capable de prédire la version future de la distribution des revenus (c’est-à-dire après 1 an). Ensuite, il produit un P2BB prédit — celui auquel vous aboutiriez si vous exécutiez le test pendant toute une année.

Notez que le P2BB prédit peut parfois contredire le P2BB actuel. Dans ce cas, nous mettons en évidence les lignes de variation en jaune, comme ceci :

Nous considérons cela comme un signal indiquant que vous devriez accumuler davantage de données pour confirmer le gagnant ou approfondir l’analyse du test A/B pour en comprendre la raison. En général, nous recommandons de faire confiance au P2BB prédit plutôt qu’au P2BB actuel, car il prend simplement en compte davantage de données, mais la décision finale vous appartient bien sûr.

Précision et certitude du modèle

Le modèle atteint un niveau de précision élevé, avec une erreur absolue moyenne en pourcentage (MAPE) légèrement inférieure à 10 %. Ce niveau de précision permet aux entreprises de se fier en toute confiance aux prédictions du modèle pour prendre des décisions basées sur les données.

Pour garantir davantage de stabilité, le modèle utilise un critère de « certitude » basé sur trois facteurs :

• Un intervalle de prédiction étroit — le modèle est confiant dans son résultat
• Un nombre suffisant d’abonnements et de revenus dans le test
• Au moins 2 semaines se sont écoulées depuis le début du test

Une prédiction est considérée comme fiable lorsqu’au moins deux de ces trois critères sont remplis.

Lorsqu’un nouveau test A/B commence, le modèle fournit une prédiction de revenus par 1 000 utilisateurs sur un an (notre principale métrique de test A/B) pour chaque paywall. Les prédictions ne sont affichées que lorsqu’elles satisfont aux critères de certitude. Si les données sont insuffisantes, le modèle indiquera « données insuffisantes pour la prédiction ».

Limites et considérations

Bien que notre modèle prédictif soit un outil puissant, il est important d’en tenir compte ses limites.

Les performances du modèle dépendent de la qualité et de la représentativité des données disponibles. Un comportement de cohorte inhabituel ou de nouvelles applications non incluses dans l’ensemble d’entraînement peuvent affecter la précision des prédictions.

Néanmoins, les prédictions sont mises à jour quotidiennement pour refléter les dernières données et comportements des utilisateurs. Cela garantit que les informations que vous recevez sont toujours basées sur les données les plus récentes.

🚧 Remarque : Cet outil est un complément, et non un substitut, à votre expertise et à votre compréhension des dynamiques propres à votre application. Utilisez ces prédictions comme guide, en les combinant avec d’autres métriques et vos connaissances du marché, pour prendre des décisions éclairées.