A/B-тестирование — мощный инструмент для сравнения эффективности двух версий флоу, пейвола или онбординга. Конечная цель — определить, какая версия приносит больше дохода на пользователя за 12-месячный период. Однако ждать целый год ради сбора данных непрактично. Поэтому в качестве прокси-метрики используется доход на пользователя за 2 недели — этот показатель выбран на основе анализа исторических данных как аппроксимация целевой метрики. Чтобы получить точные и надёжные результаты, необходим статистический метод, способный работать с разнородными данными. Байесовская статистика — популярный подход в современном анализе данных — предоставляет гибкий и интуитивно понятный фреймворк для A/B-тестирования. Байесовские методы учитывают предварительные знания и обновляют их по мере поступления новых данных, что позволяет принимать взвешенные решения в условиях неопределённости. Этот документ содержит подробное описание математического анализа, который Adapty применяет при оценке результатов A/B-тестов и формировании выводов для принятия решений на основе данных.

Подход Adapty к статистическому анализу

Adapty использует комплексный подход к статистическому анализу, чтобы оценивать результаты A/B-тестов и давать точные и надёжные выводы. Наша методология включает следующие ключевые шаги:

1. Определение метрики: Чтобы успешно провести A/B-тест, нужно определить ключевую метрику, которая соответствует целям и задачам анализа. Adapty проанализировал огромный массив исторических данных приложений с подписками, чтобы выяснить, какой показатель лучше всего служит прокси-метрикой для долгосрочной цели — средней выручки через 1 год. Этой метрикой оказался ARPU за 14 дней.
2. Формулировка гипотез: Для A/B-теста формулируются две гипотезы. Нулевая гипотеза (H0) предполагает, что значимой разницы между контрольной группой (A) и тестовой группой (B) нет. Альтернативная гипотеза (H1) предполагает, что значимая разница между двумя или более группами существует.
3. Выбор распределения: Мы выбираем наиболее подходящее семейство распределений, исходя из характеристик данных и наблюдаемой метрики. Чаще всего используется логнормальное распределение (с учётом нулевых значений).
4. Расчёт вероятности быть лучшим: Используя байесовский подход к A/B-тестированию, мы рассчитываем вероятность быть наилучшим вариантом для каждого пейвола или онбординга, участвующего в тесте. Это значение связано с p-value, которые применялись ранее, но по сути представляет собой другой подход — более надёжный и понятный.
5. Интерпретация результатов: Вероятность быть лучшим означает именно то, о чём говорит название. Чем выше вероятность, тем больше шансов, что конкретный вариант окажется оптимальным для решаемой задачи. Порог для принятия решений нужно определять самостоятельно с учётом множества факторов конкретной ситуации; типичное пороговое значение вероятности — 95%.
6. Интервалы прогнозирования: Adapty рассчитывает интервалы прогнозирования для метрик производительности каждой группы, задавая диапазон значений, в который с высокой вероятностью попадает истинный параметр генеральной совокупности. Это помогает количественно оценить неопределённость, связанную с оцениваемыми метриками.

Определение размера выборки

Правильный выбор размера выборки — ключевое условие надёжных и однозначных результатов A/B-теста. Adapty учитывает такие факторы, как статистическая мощность и ожидаемый размер эффекта — они остаются важными и в рамках байесовского подхода, — чтобы обеспечить достаточный объём выборки. Методы оценки необходимого размера выборки, характерные для используемого байесовского подхода, гарантируют надёжность анализа. Чтобы узнать больше о функциональности A/B-тестов, рекомендуем ознакомиться с нашей документацией по созданию и запуску A/B-тестов, а также разобраться с различными метриками и результатами A/B-тестов. Аналитическая система Adapty для A/B-тестов теперь использует байесовский подход, однако основные принципы остались прежними: определение метрик, формулировка гипотез и выбор распределений. Вместо p-значений мы теперь вычисляем апостериорные распределения и рассчитываем вероятность того, что каждый вариант является лучшим. Также мы определяем интервалы предсказания. Этот обновлённый подход — не менее полный, но более надёжный — даёт результаты, которые проще интерпретировать и понимать. Цель остаётся прежней: помочь бизнесу оптимизировать стратегии, улучшать показатели и расти на основе статистически обоснованного анализа A/B-тестов.