Создание, запуск и остановка A/B-теста

В этой статье рассматривается полный жизненный цикл A/B-теста в Adapty: создание теста, его запуск и остановка по готовности к анализу результатов.

Предварительные требования

Перед настройкой A/B-теста у вас должно быть:

Если вы не используете Adapty Flow Builder или Adapty Paywall Builder, отправляйте просмотры пейвола в Adapty с помощью .logShowPaywall(). Без этого метода Adapty не сможет подсчитать просмотры пейвола в тесте, и статистика конверсий будет неточной.

A/B-тесты в Adapty работают в два этапа. Сначала вы создаёте тест и сохраняете его как черновик — он не запускается сразу. Когда будете готовы, запустите его отдельно. Это позволяет проверить настройки до того, как тест увидят пользователи.

Создание A/B-теста

При создании нового A/B-теста необходимо включить как минимум два флоу/пейвола/онбординга.

Чтобы создать новый A/B-тест:

  1. Перейдите в раздел A/B tests из главного меню Adapty.

    go-to-abtests.webp

  2. В правом верхнем углу нажмите Create A/B test.

    create-abtest.webp

  3. В окне Create the A/B test введите Test name. Это обязательное поле. Выберите название, которое чётко описывает суть теста, чтобы легко найти его при просмотре результатов.

  4. Заполните поле Test goal — опишите, чего хотите достичь (например, увеличить число подписок или снизить отток).

  5. Нажмите Select placement и выберите плейсмент с флоу, пейволом или онбордингом.

  6. Настройте содержимое теста в таблице Variants. Каждая строка — это вариант, каждый столбец — плейсмент. В каждой ячейке добавьте пейвол. По умолчанию таблица содержит 2 варианта и 1 плейсмент. Можно добавить до 20 вариантов. После добавления второго плейсмента тест становится кросс-плейсментным A/B-тестом. Обратите внимание: кросс-плейсментные A/B-тесты доступны только для пейволов.

    abtest-variants.webp

  7. Сохраните тест. У вас есть два варианта:

    1. Save as draft: тест не запустится сразу. Вы сможете запустить его позже из списка плейсментов или A/B-тестов. Используйте этот вариант, чтобы проверить настройки перед запуском.
    2. Run A/B test: запускает тест немедленно. Тест становится активным сразу после нажатия этой кнопки.

После сохранения в черновик перейдите к разделу Запуск A/B-теста.

Редактирование A/B-теста

Редактировать можно только те A/B-тесты, которые сохранены как черновики. После запуска теста изменить его нельзя. Чтобы обновить активный тест, воспользуйтесь опцией Modify — она создаёт дубликат с тем же именем, в котором можно внести правки. Adapty остановит исходный тест, и оба — исходный и изменённый — будут отображаться в аналитике отдельно.

Запустите A/B-тест

Запустить A/B-тест в Adapty — значит назначить его на плейсмент, чтобы он начал показывать пейволы и онбординги пользователям.

  1. Откройте раздел A/B-тесты из главного меню Adapty.

  2. Убедитесь, что просматриваете нужный список — A/B-тесты Paywall, Flow, Onboardings и Crossplacement отображаются на отдельных вкладках, между которыми можно переключаться.

  3. Перейдите на вкладку Drafts. Запустить можно только черновые тесты.

  4. Рядом с нужным тестом нажмите Run A/B test.

  5. Откроется окно Edit A/B test. Проверьте настройки и при необходимости внесите изменения. Если плейсмент или аудитория не указаны, добавьте их сейчас.

  6. После проверки настроек нажмите Run A/B test, чтобы запустить тест. После запуска теста вы можете отслеживать его ход и просматривать данные о результатах на странице Результаты и метрики A/B-теста.

Остановить A/B-тест

Когда вы останавливаете A/B-тест, он завершается и становятся доступны его результаты. Также нужно решить, что показывать пользователям в затронутых плейсментах после окончания теста.

stop-ab-test.webp

  1. Откройте раздел A/B tests и перейдите на вкладку Live.

  2. Рядом с нужным тестом нажмите меню с тремя точками и выберите Stop A/B test.

  3. В окне Stop the A/B test выберите, что должно произойти после завершения теста. Доступны три варианта: | Опция | Описание | |----------------------------------------------------------------|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | Показать один из тестируемых пейволов/онбордингов | Выберите победивший пейвол или онбординг на основе результатов теста: выручка, вероятность быть лучшим (P2BB) и выручка на 1K пользователей. Этот пейвол или онбординг будет показываться для выбранного плейсмента и аудитории. | | Выбрать пейволы/онбординги, не участвующие в A/B-тесте | Выберите любой пейвол или онбординг, который не является частью текущего A/B-теста. Используйте этот вариант, если ни один из тестируемых вариантов не достиг ваших целей. | | Не показывать конкретный пейвол/онбординг | Для выбранного плейсмента и аудитории после завершения A/B-теста конкретный пейвол или онбординг выбран не будет. Вместо этого будет показан следующий доступный пейвол или онбординг согласно приоритету аудитории. Это хороший выбор, если вы предпочитаете, чтобы текущая настройка сама определяла, какой пейвол или онбординг отображать, без ручного выбора. |

Остановка A/B-теста необратима — его нельзя перезапустить. Убедитесь, что собрали достаточно данных, прежде чем принять решение об остановке.

  1. Нажмите кнопку Stop and complete this A/B test.

После завершения A/B-тест перестаёт быть активным, и пейволы или онбординги из него больше не показываются новым пользователям. Вы по-прежнему можете просматривать результаты и метрики A/B-теста на странице метрик A/B-теста, чтобы оценить эффективность для пользователей, участвовавших в тесте. Метрики могут продолжать обновляться по мере того, как новые события покупок или дохода атрибутируются этим пользователям.