Типы A/B-тестов

Adapty предлагает три типа A/B-тестов, каждый из которых подходит для разных сценариев тестирования:

  • Обычный A/B-тест: A/B-тест, созданный для одного плейсмента пейвола.
  • A/B-тест онбординга: A/B-тест, созданный для одного плейсмента онбординга.
  • Кросс-плейсментный A/B-тест: A/B-тест, созданный для нескольких плейсментов пейволов в вашем приложении. После того как A/B-тест назначает вариант , этот вариант последовательно отображается во всех выбранных разделах вашего приложения.

Кросс-плейсментные A/B-тесты доступны только начиная с версии SDK Adapty v3.5.0.

A/B-тесты онбординга требуют SDK Adapty версии v3.8.0+ (iOS, Android, React Native, Flutter), v3.14.0+ (Unity) или v3.15.0+ (Kotlin Multiplatform, Capacitor).

Пользователи предыдущих версий пропускают их.

Каждый пейвол/онбординг получает вес, который распределяет трафик во время теста.

Например, при весах 70% и 30% первый пейвол увидят примерно 700 из 1000 пользователей, второй — около 300. В кросс-плейсментных тестах веса задаются на уровне варианта, а не отдельного пейвола.

Это позволяет сравнивать разные пейволы и принимать решения о монетизации приложения на основе данных.

Когда использовать каждый тип

Каждый тип A/B-теста полезен в следующих случаях:

  • Обычный A/B-тест и A/B-тест онбординга:
    • В приложении только один плейсмент.
    • Вы хотите проводить A/B-тест только на одном плейсменте и отслеживать изменения экономики именно для него, даже если в приложении несколько плейсментов.
    • Вы хотите запустить A/B-тест для старых пользователей (тех, кто уже видел хотя бы один пейвол Adapty).
  • Кросс-плейсментный A/B-тест:
    • Вы хотите синхронизировать варианты между несколькими плейсментами. Например, изменить цены одновременно в онбординге и в настройках приложения.
    • Вы хотите оценить общую экономику приложения. Тест по всем плейсментам упрощает анализ статистики по сравнению с тестированием отдельных плейсментов.
    • Вы хотите запустить A/B-тест только для новых пользователей — тех, кто ещё ни разу не видел пейвол Adapty.
    • Вы хотите использовать несколько пейволов в рамках одного варианта:
Пример нескольких пейволов в рамках одного варианта кросс-плейсментного A/B-теста

Ключевые различия

ХарактеристикаОбычный A/B-тестКросс-плейсментный A/B-тест
Что тестируетсяОдин пейвол/онбордингНабор пейволов, относящихся к одному варианту
Согласованность вариантаВариант определяется отдельно для каждого плейсментаОдин и тот же вариант используется во всех плейсментах пейволов
Таргетинг аудиторииЗадаётся для каждого плейсмента пейвола/онбордингаОбщий для всех плейсментов пейволов
АналитикаАнализируется один плейсмент пейвола/онбордингаАнализируется всё приложение в части плейсментов, входящих в тест
Распределение весов вариантовНа каждый пейвол/онбордингНа набор пейволов
ПользователиВсе пользователиТолько новые пользователи (те, кто не видел пейвол Adapty)
Версия SDK AdaptyЛюбая для пейволов. Для онбординга: v3.8.0+ (iOS, Android, React Native, Flutter), v3.14.0+ (Unity), v3.15.0+ (KMP, Capacitor)3.5.0+
Лучше всего подходит дляТестирования независимых изменений в одном плейсменте пейвола/онбординга без учёта общей экономики приложенияОценки общей стратегии монетизации в масштабах всего приложения

Логика выбора A/B-теста

Кросс-плейсментные A/B-тесты имеют приоритет над обычными A/B-тестами. При этом кросс-плейсментные тесты показываются только новым пользователям — тем, кто ещё ни разу не видел пейвол Adapty (метод SDK getPaywall для них не вызывался). Это обеспечивает согласованность результатов между плейсментами.

На следующей диаграмме показана логика, по которой Adapty выбирает A/B-тест для плейсмента:

Диаграмма логики выбора A/B-теста для плейсмента пейвола

На странице A/B Tests обычные, онбординговые и кросс-плейсментные тесты отображаются на отдельных вкладках.

Страница со списком A/B-тестов с вкладками для обычных, онбординговых и кросс-плейсментных тестов

Ограничения кросс-плейсментных A/B-тестов

Кросс-плейсментные A/B-тесты не могут включать плейсменты онбордингов.

Кросс-плейсментные A/B-тесты гарантируют, что каждый пользователь видит один и тот же вариант во всех плейсментах теста. Это порождает следующие ограничения:

  • Участвовать могут только новые пользователи. Новый пользователь — тот, кто не видел ни одного пейвола Adapty и чьё приложение ни разу не вызывало getPaywall. Для остальных пользователей Adapty не может гарантировать согласованную цепочку пейволов.

  • Первый плейсмент, с которым сталкивается пользователь, определяет, какой пейвол покажет Adapty. Изменить назначение пользователя или включить одного и того же пользователя более чем в один кросс-плейсментный A/B-тест невозможно.

Как только пользователь получил кросс-плейсментный пейвол, он видит его в течение 90 дней — даже после остановки теста. Чтобы изменить этот срок, в разделе General настройте параметр Cross-placement variation stickiness.

Приоритет кросс-плейсментных A/B-тестов

  • Кросс-плейсментные A/B-тесты всегда имеют приоритет над обычными и онбординговыми A/B-тестами. Если новый пользователь подходит одновременно под кросс-плейсментный и обычный тест на одном плейсменте, будет показан кросс-плейсментный тест.

  • Когда несколько кросс-плейсментных A/B-тестов с одинаковой аудиторией используют один и тот же плейсмент, Adapty автоматически назначает приоритет тестов в порядке их добавления. Первый добавленный тест имеет наивысший приоритет. Изменить его вручную невозможно.

  • Тесты, нацеленные на более узкий сегмент аудитории, автоматически получают приоритет над тестами, нацеленными на сегмент «Все пользователи».

В Analytics кросс-плейсментный A/B-тест отображается как несколько дочерних тестов — по одному на каждый плейсмент. Дочерние тесты именуются по шаблону <test-name> child-0, <test-name> child-1 и так далее. Нумерация соответствует порядку плейсментов на странице деталей A/B-теста. Чтобы посмотреть результаты по конкретному плейсменту, воспользуйтесь фильтром Placement.

Следующие шаги