Создание, запуск и остановка A/B-теста

В этой статье рассматривается полный жизненный цикл A/B-теста в Adapty: создание теста, его запуск и остановка по готовности к анализу результатов.

Предварительные требования

Перед настройкой A/B-теста у вас должны быть:

Как минимум два пейвола (или онбординга для A/B-теста онбординга)
Настроенный плейсмент в вашем приложении
Решение о том, какой тип A/B-теста использовать — см. Типы A/B-тестов

Если вы не используете Adapty Paywall Builder, отправляйте события просмотра пейвола в Adapty с помощью .logShowPaywall(). Без этого метода Adapty не сможет подсчитать просмотры пейвола в тесте, и статистика конверсий будет некорректной.

A/B-тесты в Adapty работают в два шага. Сначала вы создаёте тест и сохраняете его как черновик — он не запускается сразу. Когда будете готовы, запустите его отдельно. Это позволяет проверить настройку до того, как её увидят пользователи.

Создание A/B-теста

При создании нового A/B-теста нужно добавить как минимум два пейвола или онбординга — в зависимости от типа теста.

Чтобы создать новый A/B-тест:

Перейдите в раздел A/B tests из главного меню Adapty.
В правом верхнем углу нажмите Create A/B test.
В окне Create the A/B test введите Test name. Это обязательное поле. Выберите название, которое чётко описывает суть теста, чтобы легко найти его при просмотре результатов.
Заполните поле Test goal, чтобы описать желаемый результат (например, увеличить количество подписок или снизить отток).
Нажмите Select placement и выберите плейсмент пейвола для обычного A/B-теста или плейсмент онбординга для A/B-теста онбординга.

Настройте содержимое теста в таблице Variants. Каждая строка — это вариант, каждый столбец — плейсмент. Добавьте пейвол на каждом пересечении.

По умолчанию таблица содержит 2 варианта и 1 плейсмент. Вы можете добавить до 20 вариантов и несколько плейсментов. После добавления второго плейсмента тест становится кроссплейсментным A/B-тестом.

Пояснения:

1	Переименуйте вариант, чтобы сделать его более понятным.
2	Измените вес варианта. Сумма весов всех вариантов должна равняться 100%.
3	При необходимости добавьте дополнительные варианты.
4	При необходимости добавьте дополнительные плейсменты.
5	Добавьте пейволы или онбординги для отображения в плейсментах для каждого варианта.

Сохраните тест. Доступны два варианта:
1. Save as draft: тест не запускается сразу. Вы можете запустить его позже из плейсмента или списка A/B-тестов. Используйте этот вариант, чтобы проверить настройку перед запуском.
2. Run A/B test: запускает тест немедленно. Тест становится активным сразу после нажатия кнопки.

После сохранения в виде черновика перейдите к разделу Запуск A/B-теста.

Редактирование A/B-теста

Редактировать можно только те A/B-тесты, которые сохранены как черновики. После запуска теста изменить его нельзя. Чтобы обновить активный тест, воспользуйтесь опцией Modify — она создаёт дубликат с тем же именем, в котором можно внести правки. Adapty остановит исходный тест, и оба — исходный и изменённый — будут отображаться в аналитике отдельно.

Запуск A/B-теста

Запуск A/B-теста в Adapty означает его привязку к плейсменту, после чего тест начинает показывать пейволы и онбординги пользователям.

Перейдите в раздел A/B tests из главного меню Adapty.
Убедитесь, что смотрите на нужный список — Regular, Onboardings и Crossplacement A/B-тесты отображаются на отдельных вкладках, между которыми можно переключаться.
Перейдите на вкладку Drafts. Запустить можно только черновики.
Рядом с нужным тестом нажмите Run A/B test.
Откроется окно Edit A/B test. Проверьте настройку и внесите последние изменения. Если плейсмент или аудитория не указаны, добавьте их сейчас.
После проверки нажмите Run A/B test, чтобы запустить тест.

После запуска теста вы можете отслеживать его ход и просматривать данные о результатах на странице Результаты и метрики A/B-теста.

Остановка A/B-теста

При остановке A/B-теста он завершается, и вы можете изучить результаты. Также вам нужно решить, что показывать пользователям в затронутых плейсментах после окончания теста.

Откройте раздел A/B tests и перейдите на вкладку Live.
Рядом с тестом, который хотите остановить, нажмите меню с тремя точками и выберите Stop A/B test.

В окне Stop the A/B test решите, что должно произойти после завершения теста. Доступны три варианта:

Вариант	Описание
Display one of the tested paywalls/onboardings	Выберите победивший пейвол или онбординг на основе результатов теста: выручки, вероятности быть лучшим (P2BB) и выручки на 1000 пользователей. Этот пейвол или онбординг будет показан для выбранного плейсмента и аудитории.
Select paywalls/onboardings that don’t participate in A/B test	Выберите любой пейвол или онбординг, который не участвует в текущем A/B-тесте. Используйте этот вариант, если ни один из тестируемых вариантов не соответствует вашим целям.
Don’t show any specific paywall/onboarding	Для выбранного плейсмента и аудитории после завершения A/B-теста конкретный пейвол или онбординг выбран не будет. Вместо этого будет показан следующий доступный пейвол или онбординг согласно приоритету аудитории. Хороший вариант, если вы предпочитаете, чтобы существующая настройка сама определяла, какой пейвол или онбординг отображать, без ручного выбора.

Остановка A/B-теста необратима — перезапустить его невозможно. Убедитесь, что собрали достаточно данных, прежде чем принимать решение об остановке.

Нажмите кнопку Stop and complete this A/B test.

После завершения A/B-теста он перестанет быть активным, и пейволы или онбординги из него больше не будут показываться новым пользователям.

Вы по-прежнему сможете просматривать результаты и метрики A/B-теста на странице метрик A/B-теста для пользователей, которые участвовали в тесте в период его работы. Метрики могут продолжать обновляться по мере поступления новых событий покупок или выручки, атрибутированных этим пользователям.