Типы A/B-тестов

Adapty предлагает два типа A/B-тестов, каждый из которых подходит для разных сценариев тестирования:

• Обычный A/B-тест: A/B-тест, созданный для одного плейсмента флоу/пейвола/онбординга.
• Кроссплейсментный A/B-тест: A/B-тест, созданный для нескольких плейсментов флоу или пейвола в вашем приложении. После того как A/B-тест назначает вариант Варианты A/B-теста — это альтернативные версии флоу, пейвола или онбординга для тестирования. , он показывает этот вариант одинаково во всех выбранных разделах приложения.

Каждый флоу/пейвол/онбординг получает вес, определяющий распределение трафика во время теста.

Например, при весах 70% и 30% первый пейвол будет показан примерно 700 из 1000 пользователей, второй — около 300. В кросс-плейсментных тестах веса задаются для каждого варианта, а не для флоу или пейвола.

Такая настройка позволяет сравнивать разные флоу и пейволы и принимать решения на основе данных для стратегии монетизации вашего приложения.

Когда использовать каждый тип

Каждый тип A/B-теста полезен в следующих случаях:

• Обычные A/B-тесты:
  • В вашем приложении только один плейсмент.
  • Вы хотите запустить A/B-тест на одном плейсменте и отслеживать изменения экономики только для него, даже если в приложении несколько плейсментов.
  • Вы хотите запустить A/B-тест на старых пользователях (тех, кто уже видел хотя бы один пейвол Adapty).
• Кросс-плейсментный A/B-тест:
  • Вы хотите синхронизировать варианты между несколькими плейсментами. Например, изменить цены одновременно в онбординге и в настройках приложения.
  • Вы хотите оценить общую экономику приложения. Запуск теста на всех плейсментах упрощает анализ статистики A/B-теста по сравнению с тестированием отдельных плейсментов.
  • Вы хотите запустить A/B-тест только на новых пользователях, то есть тех, кто ещё ни разу не видел ни одного пейвола Adapty.
  • Вы хотите использовать несколько флоу или пейволов в рамках одного варианта:

Ключевые различия

Логика выбора A/B-теста

Кроссплейсментные A/B-тесты имеют приоритет над обычными A/B-тестами. Однако кроссплейсментные тесты показываются только новым пользователям — тем, кто ещё не видел ни одного флоу или пейвола Adapty (приложение ни разу не вызывало для них getFlow или getPaywall). Это обеспечивает согласованность результатов по всем плейсментам.

На диаграмме ниже показана логика, которую Adapty использует при выборе A/B-теста для плейсмента:

На странице A/B Tests тесты флоу, пейволов и онбординга отображаются на отдельных вкладках. Кросс-плейсментные тесты имеют две собственные вкладки: Crossplacement (Flows) и Crossplacement (Paywalls).

Ограничения кросс-плейсментных A/B-тестов

Кросс-плейсментные A/B-тесты гарантируют, что каждый пользователь видит один и тот же вариант во всех плейсментах теста. Это создаёт следующие ограничения:

• Участвовать могут только новые пользователи. Новым считается пользователь, который ещё не видел ни одного флоу или пейвола Adapty и чьё приложение ни разу не вызывало getFlow или getPaywall. Для остальных пользователей Adapty не может гарантировать согласованную цепочку флоу или пейволов.

• Первый плейсмент, с которым встречается пользователь, определяет, какой флоу или пейвол Adapty покажет. Изменить назначение пользователя или записать одного и того же пользователя более чем в один межплейсментный A/B-тест невозможно.

• Устройство узнаёт о межплейсментных назначениях, сделанных в другом месте — например, на другом устройстве пользователя, — только когда приложение становится активным, и не чаще одного раза в 60 секунд. Принудительно запустить эту синхронизацию нельзя, поэтому назначение может достигнуть долгоживущей сессии не ранее чем через минуту или до следующего перехода приложения на передний план.

Приоритет Crossplacement A/B-тестов

• Crossplacement A/B-тесты всегда имеют приоритет над обычными A/B-тестами и A/B-тестами онбордингов. Если новый пользователь подходит одновременно для Crossplacement-теста и обычного теста на одном плейсменте, будет показан Crossplacement-тест.

• Когда несколько Crossplacement A/B-тестов с одной и той же аудиторией используют один плейсмент, Adapty автоматически расставляет приоритеты по порядку добавления тестов. Первый добавленный тест получает наивысший приоритет. Изменить его вручную нельзя.

• Тесты, нацеленные на меньшие сегменты аудитории, автоматически получают приоритет над тестами, которые нацелены на сегмент «Все пользователи».

Следующие шаги

• Создание, запуск и остановка A/B-теста — настройте и запустите свой первый тест
• Результаты и метрики A/B-теста — проанализируйте результаты и выберите победителя