Las pruebas A/B son una técnica muy eficaz para comparar el rendimiento de dos versiones diferentes de un paywall u onboarding. El objetivo final es determinar qué versión resulta más efectiva en función de los ingresos medios por usuario a lo largo de 12 meses. Sin embargo, esperar un año completo para recopilar datos y tomar decisiones no es viable. Por eso se utiliza el ingreso por usuario en 2 semanas como métrica proxy, elegida a partir del análisis de datos históricos para aproximarse a la métrica objetivo. Para obtener resultados precisos y fiables, es fundamental emplear un método estadístico robusto capaz de manejar distintos tipos de datos. La estadística bayesiana, un enfoque muy extendido en el análisis de datos moderno, ofrece un marco flexible e intuitivo para las pruebas A/B. Al incorporar conocimiento previo y actualizarlo con nuevos datos, los métodos bayesianos permiten tomar mejores decisiones en condiciones de incertidumbre. Este documento es una guía completa del análisis matemático que utiliza Adapty para evaluar los resultados de las pruebas A/B y aportar insights valiosos para la toma de decisiones basada en datos.

Enfoque de Adapty para el análisis estadístico

Adapty aplica un enfoque exhaustivo de análisis estadístico para evaluar el rendimiento de las pruebas A/B y ofrecer resultados precisos y fiables. Nuestra metodología consta de los siguientes pasos clave:

1. Definición de la métrica: Para llevar a cabo una prueba A/B con éxito, hay que identificar y definir la métrica clave que se alinee con los objetivos específicos del análisis. Adapty aprovechó una gran cantidad de datos históricos de aplicaciones de suscripción para determinar cuál encaja mejor como métrica proxy para el objetivo a largo plazo de ingresos medios al cabo de 1 año, y esa métrica es el ARPU a los 14 días.
2. Formulación de hipótesis: Creamos dos hipótesis para la prueba A/B. La hipótesis nula (H0) asume que no existe una diferencia significativa entre el grupo de control (A) y el grupo de prueba (B). La hipótesis alternativa (H1) sugiere que sí existe una diferencia significativa entre los dos o más grupos.
3. Selección de distribución: Elegimos la familia de distribución más adecuada en función de las características de los datos y la métrica observada. La opción más habitual es la distribución log-normal (teniendo en cuenta los valores cero).
4. Cálculo de la probabilidad de ser el mejor: Utilizando el enfoque bayesiano para las pruebas A/B, calculamos la probabilidad de que cada variante de paywall u onboarding que participa en el test sea la mejor opción. Este valor está relacionado con los p-valores que usábamos antes, pero es esencialmente un enfoque diferente, más robusto y más fácil de interpretar.
5. Interpretación de resultados: La probabilidad de ser el mejor es exactamente lo que sugiere su nombre. Cuanto mayor sea la probabilidad, mayor es la verosimilitud de que una opción concreta sea la mejor para el objetivo planteado. Tú mismo debes establecer el umbral para la toma de decisiones; dependerá de muchos otros factores propios de tu situación, pero un valor de probabilidad habitual es el 95%.
6. Intervalos de predicción: Adapty calcula intervalos de predicción para las métricas de rendimiento de cada grupo, ofreciendo un rango de valores dentro del cual es probable que se encuentre el parámetro real de la población. Esto ayuda a cuantificar la incertidumbre asociada a las métricas de rendimiento estimadas.

Determinación del tamaño de la muestra

Determinar un tamaño de muestra adecuado es fundamental para obtener resultados de pruebas A/B fiables y concluyentes. Adapty tiene en cuenta factores como la potencia estadística y el tamaño del efecto esperado, que siguen siendo importantes incluso bajo el enfoque bayesiano, para garantizar un tamaño de muestra suficiente. Los métodos para estimar el tamaño de muestra requerido, específicos del enfoque bayesiano que empleamos actualmente, garantizan la fiabilidad del análisis.

Para saber más sobre el funcionamiento de las pruebas A/B, te recomendamos consultar nuestra documentación sobre cómo crear y ejecutar pruebas A/B, así como comprender las distintas métricas y resultados de las pruebas A/B.

El marco analítico de Adapty para las pruebas A/B emplea ahora un enfoque bayesiano, aunque el foco sigue estando en la definición de métricas, la formulación de hipótesis y la selección de distribuciones. Sin embargo, en lugar de calcular p-valores, ahora computamos las distribuciones posteriores y calculamos la probabilidad de que cada variante sea la mejor. También determinamos los intervalos de predicción. Este enfoque revisado, que sigue siendo exhaustivo e incluso más robusto, está diseñado para ofrecer insights más intuitivos y fáciles de interpretar. El objetivo sigue siendo capacitar a las empresas para que optimicen sus estrategias, mejoren su rendimiento e impulsen el crecimiento a partir de un análisis estadístico sólido de sus pruebas A/B.