Создание, запуск и остановка A/B-теста

В этой статье описан полный жизненный цикл A/B-теста в Adapty: создание теста, его запуск и остановка, когда вы готовы ознакомиться с результатами.

Предварительные требования

Перед настройкой A/B-теста у вас должны быть:

Как минимум два флоу/пейвола/онбординга
Настроенный плейсмент в вашем приложении

Warning

Если вы не используете Adapty Flow & Paywall Builder или старый Adapty Paywall Builder, отправляйте данные о просмотрах пейвола в Adapty с помощью .logShowFlow() (iOS SDK v4+) / .logShowPaywall(). Без этого метода Adapty не сможет подсчитать просмотры пейвола в тесте, и статистика конверсий будет неточной.

Info

A/B-тесты в Adapty работают в два этапа. Сначала вы создаёте тест и сохраняете его как черновик — он не запускается сразу. Когда будете готовы, запустите его отдельно. Это позволяет проверить настройки до того, как тест увидят пользователи.

Создание A/B-теста

При создании нового A/B-теста необходимо включить как минимум два флоу/пейвола/онбординга.

Чтобы создать новый A/B-тест:

Перейдите в раздел A/B tests из главного меню Adapty.
В правом верхнем углу нажмите Create A/B test.
В окне Create the A/B test введите Test name. Это обязательное поле. Выберите название, которое чётко описывает суть теста, чтобы легко найти его при просмотре результатов.
Заполните поле Test goal — опишите, чего хотите достичь (например, увеличить число подписок или снизить отток).
Нажмите Select placement и выберите плейсмент с флоу, пейволом или онбордингом.
Настройте содержимое теста в таблице Variants. Каждая строка — это вариант, каждый столбец — плейсмент. В каждой ячейке добавьте пейвол.

По умолчанию в таблице 2 варианта и 1 плейсмент. Вы можете добавить до 20 вариантов. Как только вы добавите второй плейсмент, тест станет кросс-плейсментным A/B-тестом. Все плейсменты в кросс-плейсментном тесте должны быть одного типа: флоу или пейвол.

Каждый вариант может иметь название, которое отображается в списке A/B-тестов и в метриках теста. Введите его в первой колонке строки варианта. Если оставить поле пустым, Adapty присвоит варианту название по позиции — Variant A, Variant B и так далее.

Название может содержать до 255 символов, и два варианта в одном тесте не могут иметь одинаковое название. После запуска теста переименовать вариант нельзя. Чтобы переименовать вариант в уже запущенном тесте, воспользуйтесь функцией Modify, описанной в разделе Редактирование A/B-теста.

Сохраните тест. У вас есть два варианта:
1. Save as draft: тест не запустится сразу. Вы сможете запустить его позже из списка плейсментов или A/B-тестов. Используйте этот вариант, чтобы проверить настройки перед запуском.
2. Run A/B test: запускает тест немедленно. Тест становится активным сразу после нажатия этой кнопки.

После сохранения в черновик перейдите к разделу Запуск A/B-теста.

Редактирование A/B-теста

Редактировать можно только те A/B-тесты, которые сохранены как черновики. После запуска теста изменить его нельзя. Чтобы обновить активный тест, воспользуйтесь опцией Modify — она создаёт дубликат с тем же именем, в котором можно внести правки. Adapty остановит исходный тест, и оба — исходный и изменённый — будут отображаться в аналитике отдельно.

Запустите A/B-тест

Запустить A/B-тест в Adapty — значит назначить его на плейсмент, чтобы он начал показывать пейволы и онбординги пользователям.

Откройте раздел A/B-тесты из главного меню Adapty.
Убедитесь, что просматриваете нужный список — A/B-тесты Paywall, Flow, Onboardings и Crossplacement отображаются на отдельных вкладках, между которыми можно переключаться.
Перейдите на вкладку Drafts. Запустить можно только черновые тесты.
Рядом с нужным тестом нажмите Run A/B test.
Откроется окно Edit A/B test. Проверьте настройки и при необходимости внесите изменения. Если плейсмент или аудитория не указаны, добавьте их сейчас.
После проверки настроек нажмите Run A/B test, чтобы запустить тест.

После запуска теста вы можете отслеживать его ход и просматривать данные о результатах на странице Результаты и метрики A/B-теста.

Остановить A/B-тест

Когда вы останавливаете A/B-тест, он завершается и становятся доступны его результаты. Также нужно решить, что показывать пользователям в затронутых плейсментах после окончания теста.

Откройте раздел A/B tests и перейдите на вкладку Live.
Рядом с нужным тестом нажмите меню с тремя точками и выберите Stop A/B test.
В окне Stop the A/B test выберите, что должно произойти после завершения теста. Доступны три варианта:

Вариант	Описание
Показать один из тестируемых флоу/пейволов/онбордингов	Выберите победивший флоу, пейвол или онбординг на основе результатов теста: выручки, вероятности быть лучшим (P2BB) и выручки на 1000 пользователей. Он будет показан для выбранного плейсмента и аудитории. В кросс-плейсментном тесте победитель выбирается для каждого плейсмента отдельно.
Выбрать флоу/пейвол/онбординг, не участвующий в A/B-тесте	Выберите любой флоу, пейвол или онбординг, который не входит в текущий A/B-тест. Используйте этот вариант, если ни один из тестируемых вариантов не оправдал ожиданий.
Не показывать конкретный флоу/пейвол/онбординг	После завершения A/B-теста для выбранного плейсмента и аудитории конкретный флоу, пейвол или онбординг выбран не будет. Вместо этого будет показан следующий доступный на основе приоритета аудитории. Хороший вариант, если вы предпочитаете, чтобы отображение определялось текущими настройками, без ручного выбора.

Note

Остановка A/B-теста необратима — его нельзя перезапустить. Убедитесь, что собрали достаточно данных, прежде чем принять решение об остановке.

Нажмите кнопку Stop and complete this A/B test.

После завершения A/B-тест перестаёт быть активным, и пейволы или онбординги из него больше не показываются новым пользователям.

Вы по-прежнему можете просматривать результаты и метрики A/B-теста на странице метрик A/B-теста, чтобы оценить эффективность для пользователей, участвовавших в тесте. Метрики могут продолжать обновляться по мере того, как новые события покупок или дохода атрибутируются этим пользователям.