Постепенный запуск флоу вместе с пейволом

Если у вас есть работающий пейвол, приносящий доход, возможно, вы захотите протестировать новый флоу на небольшой части аудитории, прежде чем переключать всех.

Флоу и пейволы — разные типы контента, поэтому каждый живёт на своём типе плейсмента: плейсмент флоу и плейсмент пейвола никогда не делят трафик.

Это значит, что нативные A/B-тесты Adapty не могут объединить их: обычный A/B-тест сравнивает варианты только в рамках одного плейсмента, а Crossplacement A/B-тест работает исключительно между плейсментами пейволов. Сравнение нового флоу с существующим пейволом — это сравнение когорт, а не единый нативный тест.

В этом гайде показано, как провести такое сравнение в виде постепенного запуска: разделите трафик между флоу и пейволом самостоятельно и постепенно увеличивайте долю флоу.

Настройка запуска

Создайте и проверьте флоу: Создайте новый флоу и протестируйте его на устройстве, прежде чем подключать к приложению. Подробные шаги по миграции — в статье Миграция на флоу.
Создайте отдельный плейсмент для флоу: Плейсмент поддерживает только один тип контента, поэтому создайте новый плейсмент для флоу — переиспользовать ID существующего плейсмента пейвола нельзя. Оставьте плейсмент пейвола активным.
Разделите трафик на своей стороне: Используйте инструмент Remote Config или флаги фич, чтобы определять для каждого пользователя, какой ID плейсмента приложение передаёт в getFlow — плейсмент нового флоу или существующего пейвола.

Note

Firebase Remote Config — один из распространённых способов сделать это: добавьте параметр (например, flow_rollout_percentage) и считывайте его в приложении для выбора плейсмента. Это не функция Adapty — это инструмент, который вы настраиваете самостоятельно, отдельно от Adapty Remote Config, который настраивает содержимое флоу и пейволов.

Закрепите пользователей за сегментами: Назначьте каждого пользователя в сегмент один раз — например, хешируя его ID — чтобы он всегда видел один и тот же вариант (флоу или пейвол) при изменении процента запуска. Иначе пользователь может переключаться между ними при каждой сессии.
Постепенно увеличивайте процент: Начните с малого, например 10%, и повышайте со временем — 25%, 50%, 100% — по мере того, как убеждаетесь, что флоу работает так, как ожидается.

Сравнение результатов

Поскольку вы сами распределяете пользователей по когортам — флоу или пейвол — вместо того, чтобы Adapty рандомизировал и перераспределял их, как в нативном A/B-тесте, рассматривайте два плейсмента как отдельные когорты, а не варианты теста. Каждый плейсмент отслеживает свои метрики, поэтому фильтруйте аналитику по плейсменту, чтобы видеть показатели каждой когорты.

Сравнивайте конверсию между двумя когортами, а не абсолютные числа: по мере увеличения процента запуска когорта флоу растёт, а когорта пейвола уменьшается, поэтому их абсолютные значения перестают быть сопоставимыми, тогда как относительные показатели по-прежнему сравнимы.

После полного перехода

Когда весь трафик перейдёт на флоу, выведите из эксплуатации старый плейсмент пейвола. Дальше используйте нативный обычный A/B-тест между вариантами флоу на плейсменте флоу для дальнейшей оптимизации — см. Типы A/B-тестов, чтобы узнать, чем отличаются обычные тесты от Crossplacement.