A/B-тестирование — мощный инструмент для сравнения двух версий пейвола или онбординга. Конечная цель — определить, какая версия эффективнее, опираясь на средний доход с пользователя за 12 месяцев. Ждать целый год нецелесообразно, поэтому в качестве прокси-метрики используется доход с пользователя за 2 недели — выбор основан на историческом анализе данных как хорошее приближение к целевой метрике. Чтобы получить точные и надёжные результаты, нужен статистический метод, способный работать с данными разных типов. Байесовская статистика, популярный подход в современном анализе данных, обеспечивает гибкую и интуитивно понятную основу для A/B-тестирования. Используя имеющиеся знания и обновляя их на основе новых данных, байесовские методы позволяют принимать взвешенные решения в условиях неопределённости. Этот документ подробно описывает математический анализ, который Adapty применяет для оценки результатов A/B-тестов и формирования выводов для принятия решений на основе данных.

Подход Adapty к статистическому анализу

Adapty использует комплексный подход к статистическому анализу для оценки результатов A/B-тестов и получения точных, надёжных выводов. Наша методология включает следующие ключевые шаги:

1. Определение метрики: Для успешного A/B-теста нужно выбрать ключевую метрику, которая соответствует целям анализа. Adapty проанализировал огромный массив исторических данных приложений с подписками и определил, что лучшей прокси-метрикой для долгосрочной цели — среднего дохода спустя 1 год — является ARPU за 14 дней.
2. Формулировка гипотез: Для A/B-теста формулируются две гипотезы. Нулевая гипотеза (H0) предполагает, что между контрольной группой (A) и тестовой группой (B) нет значимых различий. Альтернативная гипотеза (H1) предполагает, что значимые различия между двумя или более группами существуют.
3. Выбор распределения: Выбирается наиболее подходящее семейство распределений, исходя из характеристик данных и наблюдаемой метрики. Чаще всего используется логнормальное распределение (с учётом нулевых значений).
4. Расчёт вероятности быть лучшим: Используя байесовский подход к A/B-тестированию, мы рассчитываем вероятность быть лучшим вариантом для каждого пейвола или варианта онбординга, участвующего в тесте. Это значение связано с p-value, которые использовались ранее, но по сути это другой подход — более надёжный и понятный.
5. Интерпретация результатов: Вероятность быть лучшим — это именно то, что следует из названия. Чем выше вероятность, тем больше шансов, что конкретный вариант окажется наилучшим. Порог для принятия решений нужно определять самостоятельно — он зависит от многих факторов вашей конкретной ситуации, но общепринятым значением считается 95%.
6. Интервалы прогнозирования: Adapty рассчитывает интервалы прогнозирования для метрик производительности каждой группы, задавая диапазон значений, в который с высокой вероятностью попадает истинный параметр генеральной совокупности. Это помогает количественно оценить неопределённость, связанную с рассчитанными метриками.

Определение размера выборки

Правильный выбор размера выборки критически важен для получения надёжных и убедительных результатов A/B-теста. Adapty учитывает такие факторы, как статистическая мощность и ожидаемый размер эффекта — они по-прежнему важны и в байесовском подходе, — чтобы обеспечить достаточный объём выборки. Методы оценки необходимого размера выборки, адаптированные под применяемый байесовский подход, гарантируют надёжность анализа.

Чтобы узнать больше о функциональности A/B-тестов, рекомендуем обратиться к документации по созданию и запуску A/B-тестов, а также к разделу о метриках и результатах A/B-тестов.

Аналитический фреймворк Adapty для A/B-тестов теперь использует байесовский подход, однако в центре по-прежнему остаются определение метрик, формулировка гипотез и выбор распределений. Вместо вычисления p-value мы теперь строим апостериорные распределения и рассчитываем вероятность того, что каждый вариант является наилучшим. Также мы определяем интервалы прогнозирования. Этот обновлённый подход, оставаясь комплексным и став ещё более надёжным, позволяет получать более интуитивно понятные и лёгкие для интерпретации выводы. Цель остаётся неизменной — помочь бизнесу оптимизировать стратегии, повысить эффективность и обеспечить рост на основе надёжного статистического анализа A/B-тестов.