---
title: "Прогнозы в A/B-тестах"
description: "Узнайте, как прогнозы в A/B-тестах помогают совершенствовать стратегии ценообразования подписок."
---

Добро пожаловать в документацию по предиктивной аналитике Adapty для функции A/B-тестирования. Этот инструмент предоставит вам прогнозы по результатам ваших текущих A/B-тестов и поможет принимать решения на основе данных быстрее 🚀 с помощью ML-прогнозов Adapty.

### Что такое прогнозы A/B-тестов? \{#what-are-ab-test-predictions\}

Прогнозы A/B-тестов Adapty используют передовые методы машинного обучения (в частности, модели градиентного бустинга) для предсказания долгосрочного потенциала выручки пейволов, сравниваемых в A/B-тесте.

Прогностическая модель позволяет выбрать наиболее эффективный пейвол на основе прогнозируемой выручки за год, а не опираться только на метрики, наблюдаемые в ходе теста. Это даёт возможность надёжнее и быстрее определять победителя — без необходимости ждать неделями, пока накопится достаточно данных.

### Как работает модель? \{#how-does-the-model-work\}

Модель обучена на обширных исторических данных A/B-тестов из самых разных приложений в разных категориях. Она учитывает широкий набор признаков для прогнозирования выручки, которую пейвол, вероятно, принесёт за год с момента начала эксперимента. В их числе:

- Транзакции пользователей и коэффициенты конверсии за разные периоды
- Географическое распределение пользователей
- Используемая платформа (iOS или Android)
- Процент отказов и возвратов
- Продукты-подписки и длительность их периодов (ежедневные, ежемесячные, ежегодные и т.д.)
- Другие данные, связанные с транзакциями

Модель также учитывает триальные периоды в пейволах, используя исторические коэффициенты конверсии для прогнозирования выручки, как если бы пользователи уже перешли на платную подписку. Это обеспечивает честное сравнение пейволов с триалом и без него, поскольку активные триалы, которые потенциально могут принести выручку в будущем, тоже принимаются в расчёт.

### Чем Predicted P2BB отличается от обычного P2BB? \{#how-is-predicted-p2bb-different-from-just-the-p2bb\}

В наших A/B-тестах используется байесовский подход: мы моделируем распределение выручки на пользователя (точнее, «Выручка на 1K пользователей») и затем вычисляем вероятность того, что одно распределение «действительно» лучше другого, а не в силу случайности — это и есть Probability-to-be-the-best, или P2BB (подробнее о нашем подходе можно прочитать [здесь](maths-behind-it)).

Важно понимать, что при этом мы опираемся только на выручку, накопленную за время работы теста. Поэтому, если вы захотите сравнить годовую подписку с еженедельной, вам придётся очень долго ждать, чтобы понять, что реально работает лучше. Аналогичная ситуация возникает при сравнении триальных и нетриальных подписок в A/B-тесте — активные триалы, способные сдвинуть динамику победителя, всегда остаются неучтёнными в выручке.

Вот тут и вступает в игру наша прогностическая модель. Опираясь на текущее распределение выручки в A/B-тесте и обученная на большом наборе данных, она способна предсказать будущую версию этого распределения (а именно — через 1 год). После этого модель выдаёт Predicted P2BB — тот показатель, которого вы достигли бы, запустив тест на целый год.

Обратите внимание: иногда Predicted P2BB может противоречить текущему P2BB. В таких случаях мы выделяем строки вариантов жёлтым цветом, как показано ниже:

  <img src="/assets/shared/img/74577c6-CleanShot_2024-02-15_at_13.08.452x.webp"
  style={{
    border: '1px solid #727272', /* border width and color */
    width: '700px', /* image width */
    display: 'block', /* for alignment */
    margin: '0 auto' /* center alignment */
  }}
/>

Мы считаем это сигналом к тому, что нужно накопить больше данных для подтверждения победителя или глубже изучить A/B-тест, чтобы разобраться в причинах расхождения. В целом мы рекомендуем доверять Predicted P2BB больше, чем текущему P2BB, поскольку он просто учитывает больше данных — но окончательное решение, конечно, остаётся за вами.

### Точность и достоверность модели \{#model-accuracy-and-certainty\}

Модель достигает высокого уровня точности: средняя абсолютная процентная ошибка (MAPE) составляет чуть менее 10%. Такая точность позволяет компаниям уверенно использовать прогнозы модели при принятии решений на основе данных.

Для дополнительной стабильности модель использует критерий «достоверности», основанный на трёх факторах:

- Узкий интервал прогноза — модель уверена в своём результате
- Достаточное количество подписок и выручки в тесте
- Прошло не менее 2 недель с начала теста

Чтобы гарантировать максимально высокое качество прогноза, он считается надёжным только при выполнении как минимум двух из этих критериев без полного провала третьего.

Когда начинается новый A/B-тест, модель предоставляет прогноз выручки на год вперёд на 1K пользователей (наша основная метрика A/B-тестов) для каждого пейвола. Прогнозы отображаются только при соответствии критериям достоверности. Если данных недостаточно, модель выдаёт сообщение «недостаточно данных для прогноза».

### Ограничения и особенности применения \{#limitations-and-considerations\}

При всей мощи нашей прогностической модели важно учитывать её ограничения.

Качество работы модели зависит от качества и репрезентативности доступных данных. Нетипичное поведение когорт или новые приложения, не включённые в обучающую выборку, могут влиять на точность прогнозов.

Тем не менее прогнозы обновляются ежедневно с учётом последних данных и поведения пользователей. Это гарантирует, что получаемая вами аналитика всегда основана на самой актуальной информации.

🚧 Примечание: этот инструмент дополняет, а не заменяет вашу экспертную оценку и понимание уникальной динамики вашего приложения. Используйте эти прогнозы как ориентир наряду с другими метриками и знаниями рынка для принятия взвешенных решений.