Las pruebas A/B son una técnica muy eficaz para comparar el rendimiento de dos versiones distintas de un flow, un paywall o un onboarding. El objetivo final es determinar cuál de las dos versiones es más eficaz, tomando como referencia el ingreso medio por usuario a lo largo de un período de 12 meses. Sin embargo, esperar un año completo para recopilar datos y tomar decisiones no es práctico. Por eso se utiliza el ingreso por usuario en 2 semanas como métrica proxy, elegida a partir del análisis de datos históricos para aproximar la métrica objetivo. Para obtener resultados precisos y fiables, es fundamental emplear un método estadístico sólido que pueda manejar distintos tipos de datos. La estadística bayesiana, un enfoque muy extendido en el análisis de datos moderno, ofrece un marco flexible e intuitivo para las pruebas A/B. Al incorporar conocimiento previo y actualizarlo con nuevos datos, los métodos bayesianos permiten tomar mejores decisiones en condiciones de incertidumbre. Este documento es una guía completa del análisis matemático que utiliza Adapty para evaluar los resultados de las pruebas A/B y proporcionar información valiosa para la toma de decisiones basada en datos.

Enfoque de Adapty para el análisis estadístico

Adapty emplea un enfoque integral de análisis estadístico para evaluar el rendimiento de las pruebas A/B y ofrecer resultados precisos y fiables. Nuestra metodología consta de los siguientes pasos clave:

1. Definición de la métrica: Para llevar a cabo una prueba A/B con éxito, es necesario identificar y definir la métrica clave que se alinee con los objetivos específicos del análisis. Adapty aprovechó una gran cantidad de datos históricos de apps de suscripción para determinar cuál encaja mejor como métrica proxy del objetivo a largo plazo —el ingreso promedio tras 1 año— y el resultado es el ARPU a los 14 días.
2. Formulación de la hipótesis: Creamos dos hipótesis para la prueba A/B. La hipótesis nula (H0) asume que no existe una diferencia significativa entre el grupo de control (A) y el grupo de prueba (B). La hipótesis alternativa (H1) plantea que sí existe una diferencia significativa entre los dos o más grupos.
3. Selección de la distribución: Elegimos la familia de distribución más adecuada en función de las características de los datos y la métrica que observamos. La elección más habitual es la distribución log-normal (teniendo en cuenta los valores cero).
4. Cálculo de la probabilidad de ser el mejor: Utilizando el enfoque bayesiano para las pruebas A/B, calculamos la probabilidad de ser la mejor opción para cada variante de paywall u onboarding que participa en el test. Este valor está relacionado con los p-valores que usábamos antes, pero es fundamentalmente un enfoque diferente, más robusto y más fácil de interpretar.
5. Interpretación de los resultados: La probabilidad de ser el mejor es exactamente lo que sugiere el nombre. Cuanto mayor sea la probabilidad, mayor será la posibilidad de que una opción concreta sea la mejor elección para la tarea. El umbral para la toma de decisiones debes establecerlo tú mismo; dependerá de muchos otros factores propios de tu situación, pero una elección habitual es el 95%.
6. Intervalos de predicción: Adapty calcula intervalos de predicción para las métricas de rendimiento de cada grupo, lo que proporciona un rango de valores dentro del cual es probable que se encuentre el verdadero parámetro poblacional. Esto ayuda a cuantificar la incertidumbre asociada a las métricas de rendimiento estimadas.

Determinación del tamaño de la muestra

Determinar un tamaño de muestra adecuado es fundamental para obtener resultados fiables y concluyentes en las pruebas A/B. Adapty tiene en cuenta factores como la potencia estadística y el tamaño de efecto esperado —que siguen siendo relevantes incluso con el enfoque bayesiano— para garantizar un tamaño de muestra suficiente. Los métodos de estimación del tamaño de muestra requerido, específicos del enfoque bayesiano que empleamos actualmente, aseguran la fiabilidad del análisis. Para obtener más información sobre la funcionalidad de las pruebas A/B, te recomendamos consultar nuestra documentación sobre cómo crearlas y cómo ejecutar pruebas A/B, así como comprender las distintas métricas y resultados de las pruebas A/B. El marco analítico de Adapty para las pruebas A/B utiliza ahora un enfoque bayesiano, aunque el foco sigue siendo la definición de métricas, la formulación de hipótesis y la selección de distribuciones. Sin embargo, en lugar de calcular p-valores, ahora calculamos las distribuciones posteriores y la probabilidad de que cada variante sea la mejor. También determinamos los intervalos de predicción. Este enfoque revisado, aunque igualmente exhaustivo e incluso más robusto, está diseñado para ofrecer conclusiones más intuitivas y fáciles de interpretar. El objetivo sigue siendo el mismo: ayudar a las empresas a optimizar sus estrategias, mejorar el rendimiento y crecer a partir de un análisis estadístico sólido de sus pruebas A/B.