Типы A/B-тестов
Adapty предлагает три типа A/B-тестов, каждый из которых подходит для разных сценариев тестирования:
- Обычный A/B-тест: A/B-тест, созданный для одного плейсмента пейвола.
- A/B-тест онбординга: A/B-тест, созданный для одного плейсмента онбординга.
- Кросс-плейсментный A/B-тест: A/B-тест, созданный для нескольких плейсментов пейволов в вашем приложении. После того как A/B-тест назначает вариант Варианты A/B-теста — это альтернативные версии пейвола или онбординга для тестирования. , этот вариант последовательно отображается во всех выбранных разделах вашего приложения.
Кросс-плейсментные A/B-тесты доступны только начиная с версии SDK Adapty v3.5.0.
A/B-тесты онбординга требуют SDK Adapty версии v3.8.0+ (iOS, Android, React Native, Flutter), v3.14.0+ (Unity) или v3.15.0+ (Kotlin Multiplatform, Capacitor).
Пользователи предыдущих версий пропускают их.
Каждый пейвол/онбординг получает вес, который распределяет трафик во время теста.
Например, при весах 70% и 30% первый пейвол увидят примерно 700 из 1000 пользователей, второй — около 300. В кросс-плейсментных тестах веса задаются на уровне варианта, а не отдельного пейвола.
Это позволяет сравнивать разные пейволы и принимать решения о монетизации приложения на основе данных.
Когда использовать каждый тип
Каждый тип A/B-теста полезен в следующих случаях:
- Обычный A/B-тест и A/B-тест онбординга:
- В приложении только один плейсмент.
- Вы хотите проводить A/B-тест только на одном плейсменте и отслеживать изменения экономики именно для него, даже если в приложении несколько плейсментов.
- Вы хотите запустить A/B-тест для старых пользователей (тех, кто уже видел хотя бы один пейвол Adapty).
- Кросс-плейсментный A/B-тест:
- Вы хотите синхронизировать варианты между несколькими плейсментами. Например, изменить цены одновременно в онбординге и в настройках приложения.
- Вы хотите оценить общую экономику приложения. Тест по всем плейсментам упрощает анализ статистики по сравнению с тестированием отдельных плейсментов.
- Вы хотите запустить A/B-тест только для новых пользователей — тех, кто ещё ни разу не видел пейвол Adapty.
- Вы хотите использовать несколько пейволов в рамках одного варианта:
Ключевые различия
| Характеристика | Обычный A/B-тест | Кросс-плейсментный A/B-тест |
|---|---|---|
| Что тестируется | Один пейвол/онбординг | Набор пейволов, относящихся к одному варианту |
| Согласованность варианта | Вариант определяется отдельно для каждого плейсмента | Один и тот же вариант используется во всех плейсментах пейволов |
| Таргетинг аудитории | Задаётся для каждого плейсмента пейвола/онбординга | Общий для всех плейсментов пейволов |
| Аналитика | Анализируется один плейсмент пейвола/онбординга | Анализируется всё приложение в части плейсментов, входящих в тест |
| Распределение весов вариантов | На каждый пейвол/онбординг | На набор пейволов |
| Пользователи | Все пользователи | Только новые пользователи (те, кто не видел пейвол Adapty) |
| Версия SDK Adapty | Любая для пейволов. Для онбординга: v3.8.0+ (iOS, Android, React Native, Flutter), v3.14.0+ (Unity), v3.15.0+ (KMP, Capacitor) | 3.5.0+ |
| Лучше всего подходит для | Тестирования независимых изменений в одном плейсменте пейвола/онбординга без учёта общей экономики приложения | Оценки общей стратегии монетизации в масштабах всего приложения |
Логика выбора A/B-теста
Кросс-плейсментные A/B-тесты имеют приоритет над обычными A/B-тестами. При этом кросс-плейсментные тесты показываются только новым пользователям — тем, кто ещё ни разу не видел пейвол Adapty (метод SDK getPaywall для них не вызывался). Это обеспечивает согласованность результатов между плейсментами.
На следующей диаграмме показана логика, по которой Adapty выбирает A/B-тест для плейсмента:
На странице A/B Tests обычные, онбординговые и кросс-плейсментные тесты отображаются на отдельных вкладках.
Ограничения кросс-плейсментных A/B-тестов
Кросс-плейсментные A/B-тесты не могут включать плейсменты онбордингов.
Кросс-плейсментные A/B-тесты гарантируют, что каждый пользователь видит один и тот же вариант во всех плейсментах теста. Это порождает следующие ограничения:
-
Участвовать могут только новые пользователи. Новый пользователь — тот, кто не видел ни одного пейвола Adapty и чьё приложение ни разу не вызывало
getPaywall. Для остальных пользователей Adapty не может гарантировать согласованную цепочку пейволов. -
Первый плейсмент, с которым сталкивается пользователь, определяет, какой пейвол покажет Adapty. Изменить назначение пользователя или включить одного и того же пользователя более чем в один кросс-плейсментный A/B-тест невозможно.
Как только пользователь получил кросс-плейсментный пейвол, он видит его в течение 90 дней — даже после остановки теста. Чтобы изменить этот срок, в разделе General настройте параметр Cross-placement variation stickiness.
Приоритет кросс-плейсментных A/B-тестов
-
Кросс-плейсментные A/B-тесты всегда имеют приоритет над обычными и онбординговыми A/B-тестами. Если новый пользователь подходит одновременно под кросс-плейсментный и обычный тест на одном плейсменте, будет показан кросс-плейсментный тест.
-
Когда несколько кросс-плейсментных A/B-тестов с одинаковой аудиторией используют один и тот же плейсмент, Adapty автоматически назначает приоритет тестов в порядке их добавления. Первый добавленный тест имеет наивысший приоритет. Изменить его вручную невозможно.
-
Тесты, нацеленные на более узкий сегмент аудитории, автоматически получают приоритет над тестами, нацеленными на сегмент «Все пользователи».
В Analytics кросс-плейсментный A/B-тест отображается как несколько дочерних тестов — по одному на каждый плейсмент. Дочерние тесты именуются по шаблону <test-name> child-0, <test-name> child-1 и так далее. Нумерация соответствует порядку плейсментов на странице деталей A/B-теста. Чтобы посмотреть результаты по конкретному плейсменту, воспользуйтесь фильтром Placement.
Следующие шаги
- Создание, запуск и остановка A/B-теста — настройте и запустите свой первый тест
- Результаты и метрики A/B-теста — проанализируйте результаты и выберите победителя