Добро пожаловать в документацию по предиктивной аналитике Adapty для функции A/B-тестирования. Этот инструмент предоставит вам прогнозы по результатам ваших текущих A/B-тестов и поможет принимать решения на основе данных быстрее 🚀 с помощью ML-прогнозов Adapty.

Что такое прогнозы A/B-тестов?

Прогнозы A/B-тестов Adapty используют передовые методы машинного обучения (в частности, модели градиентного бустинга) для предсказания долгосрочного потенциала выручки пейволов, сравниваемых в A/B-тесте.

Прогностическая модель позволяет выбрать наиболее эффективный пейвол на основе прогнозируемой выручки за год, а не опираться только на метрики, наблюдаемые в ходе теста. Это даёт возможность надёжнее и быстрее определять победителя — без необходимости ждать неделями, пока накопится достаточно данных.

Как работает модель?

Модель обучена на обширных исторических данных A/B-тестов из самых разных приложений в разных категориях. Она учитывает широкий набор признаков для прогнозирования выручки, которую пейвол, вероятно, принесёт за год с момента начала эксперимента. В их числе:

• Транзакции пользователей и коэффициенты конверсии за разные периоды
• Географическое распределение пользователей
• Используемая платформа (iOS или Android)
• Процент отказов и возвратов
• Продукты-подписки и длительность их периодов (ежедневные, ежемесячные, ежегодные и т.д.)
• Другие данные, связанные с транзакциями

Модель также учитывает триальные периоды в пейволах, используя исторические коэффициенты конверсии для прогнозирования выручки, как если бы пользователи уже перешли на платную подписку. Это обеспечивает честное сравнение пейволов с триалом и без него, поскольку активные триалы, которые потенциально могут принести выручку в будущем, тоже принимаются в расчёт.

Чем Predicted P2BB отличается от обычного P2BB?

В наших A/B-тестах используется байесовский подход: мы моделируем распределение выручки на пользователя (точнее, «Выручка на 1K пользователей») и затем вычисляем вероятность того, что одно распределение «действительно» лучше другого, а не в силу случайности — это и есть Probability-to-be-the-best, или P2BB (подробнее о нашем подходе можно прочитать здесь).

Важно понимать, что при этом мы опираемся только на выручку, накопленную за время работы теста. Поэтому, если вы захотите сравнить годовую подписку с еженедельной, вам придётся очень долго ждать, чтобы понять, что реально работает лучше. Аналогичная ситуация возникает при сравнении триальных и нетриальных подписок в A/B-тесте — активные триалы, способные сдвинуть динамику победителя, всегда остаются неучтёнными в выручке.

Вот тут и вступает в игру наша прогностическая модель. Опираясь на текущее распределение выручки в A/B-тесте и обученная на большом наборе данных, она способна предсказать будущую версию этого распределения (а именно — через 1 год). После этого модель выдаёт Predicted P2BB — тот показатель, которого вы достигли бы, запустив тест на целый год.

Обратите внимание: иногда Predicted P2BB может противоречить текущему P2BB. В таких случаях мы выделяем строки вариантов жёлтым цветом, как показано ниже:

Мы считаем это сигналом к тому, что нужно накопить больше данных для подтверждения победителя или глубже изучить A/B-тест, чтобы разобраться в причинах расхождения. В целом мы рекомендуем доверять Predicted P2BB больше, чем текущему P2BB, поскольку он просто учитывает больше данных — но окончательное решение, конечно, остаётся за вами.

Точность и достоверность модели

Модель достигает высокого уровня точности: средняя абсолютная процентная ошибка (MAPE) составляет чуть менее 10%. Такая точность позволяет компаниям уверенно использовать прогнозы модели при принятии решений на основе данных.

Для дополнительной стабильности модель использует критерий «достоверности», основанный на трёх факторах:

• Узкий интервал прогноза — модель уверена в своём результате
• Достаточное количество подписок и выручки в тесте
• Прошло не менее 2 недель с начала теста

Чтобы гарантировать максимально высокое качество прогноза, он считается надёжным только при выполнении как минимум двух из этих критериев без полного провала третьего.

Когда начинается новый A/B-тест, модель предоставляет прогноз выручки на год вперёд на 1K пользователей (наша основная метрика A/B-тестов) для каждого пейвола. Прогнозы отображаются только при соответствии критериям достоверности. Если данных недостаточно, модель выдаёт сообщение «недостаточно данных для прогноза».

Ограничения и особенности применения

При всей мощи нашей прогностической модели важно учитывать её ограничения.

Качество работы модели зависит от качества и репрезентативности доступных данных. Нетипичное поведение когорт или новые приложения, не включённые в обучающую выборку, могут влиять на точность прогнозов.

Тем не менее прогнозы обновляются ежедневно с учётом последних данных и поведения пользователей. Это гарантирует, что получаемая вами аналитика всегда основана на самой актуальной информации.

🚧 Примечание: этот инструмент дополняет, а не заменяет вашу экспертную оценку и понимание уникальной динамики вашего приложения. Используйте эти прогнозы как ориентир наряду с другими метриками и знаниями рынка для принятия взвешенных решений.