Изучайте данные и выводы из A/B-тестов, сравнивая разные пейволы и онбординги, чтобы понять, как они влияют на поведение пользователей, вовлечённость и конверсию. Анализируя метрики и результаты, вы сможете принимать обоснованные решения и улучшать показатели приложения. Погружайтесь в данные, находите полезные инсайты и делайте приложение успешнее.

Результаты A/B-теста

Вот три метрики, которые Adapty предоставляет для результатов A/B-теста:

Revenue: Эта метрика показывает общую сумму в USD, полученную от покупок и продлений подписок, за вычетом возвратов. Учитываются как первоначальные покупки, так и последующие продления. Revenue помогает понять, насколько финансово эффективен каждый вариант A/B-теста, и определить, какой из них приносит больше всего денег.

Подробнее о метриках пейволов и онбординга. Вероятность быть лучшим: Adapty использует надёжную математическую модель для анализа результатов A/B-тестов и предоставляет метрику «Вероятность быть лучшим». Эта метрика оценивает вероятность того, что конкретный вариант является наилучшим (с точки зрения долгосрочной выручки) среди всех протестированных вариантов. Метрика выражается в процентах от 1% до 100%. Подробнее о том, как Adapty рассчитывает эту метрику, читайте в документации. Лучший вариант, определяемый по показателю Revenue per 1K user, выделяется зелёным цветом и автоматически выбирается в качестве варианта по умолчанию. Revenue per 1K users: Метрика «Доход на 1К пользователей» рассчитывает средний доход, полученный на 1 000 пользователей для каждого варианта A/B-теста. Она помогает оценить эффективность вариантов с точки зрения дохода независимо от общего числа пользователей — сравнивать варианты по единой шкале и принимать взвешенные решения на основе эффективности генерации дохода. Прогнозные интервалы для выручки на 1K пользователей: Метрика выручки на 1K пользователей также включает прогнозные интервалы. Они показывают диапазон, в который, по прогнозу, попадёт истинная выручка на 1 000 пользователей для данного варианта — на основе имеющихся данных и статистического анализа. В контексте A/B-тестирования при анализе выручки, генерируемой разными вариантами, мы рассчитываем среднюю выручку на 1000 пользователей для каждого варианта. Поскольку выручка может варьироваться от пользователя к пользователю, интервалы прогноза наглядно показывают, в каких пределах может находиться выручка на 1000 пользователей с учётом изменчивости данных и неопределённости, присущей процессу прогнозирования. Включая интервалы прогноза в метрику дохода на 1000 пользователей, Adapty позволяет оценивать эффективность вариантов вашего A/B-теста с учётом диапазона возможных результатов по выручке. Эта информация помогает принимать решения на основе данных и эффективно оптимизировать стратегию подписки, учитывая неопределённость в процессе прогнозирования и допустимые значения дохода на 1000 пользователей. Анализируя эти метрики в Adapty, вы получаете чёткое представление о финансовой эффективности, статистической значимости и доходности вариантов A/B-теста — и можете принимать решения на основе данных, чтобы эффективно оптимизировать стратегию подписок.

Метрики A/B-теста

Adapty предоставляет исчерпывающий набор метрик для оценки эффективности A/B-теста на вариантах вашего пейвола или онбординга. Метрики обновляются в реальном времени, за исключением просмотров — они обновляются периодически. Понимание этих метрик поможет вам оценить эффективность разных вариантов и принимать решения на основе данных для оптимизации стратегии пейвола или онбординга. A/B-тест метрики доступны в списке A/B-тестов, где можно получить общее представление о результатах всех ваших A/B-тестов. Этот сводный вид показывает агрегированные метрики для каждого варианта теста, позволяя сравнивать их эффективность и выявлять значимые различия. Для более детального анализа каждого A/B-теста можно перейти к детальным метрикам A/B-теста. В этом разделе представлены подробные метрики конкретного A/B-теста, позволяющие глубоко изучить результаты отдельных вариантов. Все метрики, кроме просмотров, привязываются к продукту внутри пейвола или онбординга.

Элементы управления метриками

Система отображает метрики на основе выбранного периода времени и организует их в соответствии с параметром левого столбца с тремя уровнями отступов.

Фильтрация профилей по дате установки

Флажок Filter metrics by install date позволяет фильтровать метрики по дате установки профиля вместо стандартных фильтров, которые используют дату пробного периода/покупки для транзакций или дату просмотра для пейволов и онбордингов. Выбрав этот флажок, вы можете сосредоточиться на оценке эффективности привлечения пользователей за конкретный период, привязав метрики к дате установки профиля. Эта опция полезна, когда нужно адаптировать анализ метрик под конкретные задачи.

Временные диапазоны

Вы можете выбирать из ряда временных периодов для анализа данных метрик, что позволяет сосредоточиться на конкретных промежутках, таких как дни, недели, месяцы или произвольные диапазоны дат.

Доступные фильтры и группировка

Adapty предоставляет мощные инструменты для фильтрации и настройки анализа метрик под ваши задачи. На странице метрик доступны различные временные диапазоны, варианты группировки и возможности фильтрации.

• ✅ Фильтровать по: аудитории, атрибуции, стране, пейволу, состоянию пейвола, группе пейволов, онбордингу, плейсменту, стране, стору, продукту и стору продукта.
• ✅ Группировать по: продукту и стору.

График одной метрики

Один из ключевых элементов страницы метрик пейвола или онбординга — раздел с графиком, который наглядно отображает выбранные метрики и упрощает их анализ.

Раздел с графиком на странице метрик A/B-теста содержит горизонтальную столбчатую диаграмму, которая наглядно отображает выбранные значения метрик. Каждый столбец соответствует отдельному значению метрики и пропорционален ему по размеру — это позволяет мгновенно считывать данные. Горизонтальная линия обозначает анализируемый период, а вертикальный столбец показывает числовые значения метрик. Суммарное значение всех метрик отображается рядом с графиком. Кроме того, нажатие на иконку стрелки в правом верхнем углу раздела графика разворачивает вид, отображая выбранные метрики на полной линии графика.

Сводка A/B-теста

Рядом с графиком отдельной метрики отображается раздел сводки деталей A/B-теста, который содержит информацию о состоянии, продолжительности, плейсментах и других связанных деталях A/B-теста.

Определения метрик

Вот ключевые метрики, доступные для A/B-тестов:

Revenue

Revenue представляет общую сумму денег, сгенерированных в USD от покупок и продлений в результате A/B-теста. Она включает первоначальную покупку и последующие продления подписки. Метрика Revenue рассчитывается до вычета комиссии App Store или Play Store.

Подробнее о метриках Revenue для пейвола и онбординга.

CR to purchases

Коэффициент конверсии в покупки измеряет эффективность A/B-теста в плане конвертации просмотров в реальные покупки. Рассчитывается путём деления числа покупок на число просмотров. Например, если было 10 покупок и 100 просмотров, коэффициент конверсии в покупки составит 10%.

CR trials

Коэффициент конверсии (CR) в пробные периоды — это число пробных периодов, запущенных из A/B-теста, делённое на число просмотров. CR в пробные периоды измеряет эффективность A/B-теста в конвертации просмотров в активации пробного периода. Рассчитывается путём деления числа запущенных пробных периодов на число просмотров.

Purchases

Метрика Purchases представляет общее число транзакций, совершённых в пейволе или онбординге в результате A/B-теста. Она включает следующие типы покупок:

• Новые совершённые покупки.
• Конверсии из пробных периодов, которые были активированы.
• Даунгрейды, апгрейды и кросс-грейды подписок.
• Восстановления подписок (например, когда подписка истекла без автопродления и впоследствии была восстановлена).

Обратите внимание, что продления не включаются в метрику Purchases.

Trials

Метрика Trials указывает общее число активированных пробных периодов в результате A/B-теста.

Trials cancelled

Метрика Trials cancelled представляет число пробных периодов, в которых автопродление было отключено. Это происходит, когда пользователи вручную отменяют подписку на пробный период.

Refunds

Refunds для A/B-теста представляют число возвратов покупок и подписок, непосредственно связанных с тестируемыми вариациями.

Views

Views — это число просмотров пейволов или онбордингов, входящих в A/B-тест. Если пользователь посещает дважды, это считается двумя посещениями.

Unique views

Unique views — это число уникальных просмотров пейвола или онбординга. Если пользователь посещает его дважды, это считается одним уникальным просмотром.

Probability to be the best

Метрика Probability to be the best количественно оценивает вероятность того, что конкретный вариант в A/B-тесте является наилучшим среди всех протестированных пейволов или онбордингов. Она предоставляет числовую вероятность, указывающую на относительную производительность каждого пейвола или онбординга. Метрика выражается в процентах от 1% до 100%.

ARPU (Average revenue per user)

Только для A/B-тестов онбординга. Измеряет средний доход, генерируемый от каждого пользователя за определённый период. Рассчитывается путём деления общего дохода на число уникальных пользователей.

ARPPU (Average revenue per paying user)

ARPPU расшифровывается как Average Revenue Per Paying User (средний доход на платящего пользователя) в результате A/B-теста. Рассчитывается как общий доход, делённый на число уникальных платящих пользователей. Например, если вы получили $15 000 дохода от 1 000 платящих пользователей, ARPPU составит $15.

ARPAS (Average revenue per active subscriber)

ARPAS — метрика, позволяющая измерить средний доход, генерируемый на активного подписчика в результате A/B-теста. Рассчитывается путём деления общего дохода на число подписчиков, активировавших пробный период или подписку. Например, если общий доход составляет $5 000 и у вас 1 000 подписчиков, ARPAS составит $5. Эта метрика помогает оценить средний потенциал монетизации на одного подписчика.

Proceeds

Метрика Proceeds для A/B-теста представляет фактическую сумму денег, полученных владельцем приложения в USD от покупок и продлений после вычета применимой комиссии App Store / Play Store. Она отражает чистый доход, непосредственно связанный с вариациями, протестированными в A/B-тесте, и напрямую влияет на заработок приложения. Дополнительную информацию о том, как рассчитываются Proceeds, см. в документации Adapty.

Unique subscribers

Метрика Unique subscribers представляет количество уникальных пользователей, оформивших подписку или активировавших пробный период через вариации в A/B-тесте. Каждый подписчик учитывается только один раз, независимо от числа инициированных подписок или пробных периодов.

Unique paid subscribers

Метрика Unique paid subscribers представляет число уникальных пользователей, успешно совершивших покупку и ставших платными подписчиками через вариации в A/B-тесте.

Refund rate

Refund rate для A/B-теста рассчитывается путём деления числа возвратов, непосредственно связанных с вариациями теста, на число первичных покупок (продления исключаются). Например, если было 5 возвратов и 1 000 первичных покупок, refund rate составит 0,5%.

Unique CR purchases

Уникальный коэффициент конверсии в покупки для A/B-теста рассчитывается путём деления числа покупок, непосредственно связанных с вариациями теста, на число уникальных просмотров. Например, если было 10 покупок и 100 уникальных просмотров, уникальный коэффициент конверсии в покупки составит 10%.

Unique CR trials

Уникальный коэффициент конверсии в пробные периоды для A/B-теста рассчитывается путём деления числа запущенных пробных периодов, непосредственно связанных с вариациями теста, на число уникальных просмотров. Например, если было запущено 30 пробных периодов и 100 уникальных просмотров, уникальный коэффициент конверсии в пробные периоды составит 30%.

Completions & unique completions

Только для A/B-тестов онбординга. Completions подсчитывают количество раз, когда пользователи завершают онбординг через вариации в A/B-тесте, то есть проходят путь от первого до последнего экрана. Если кто-то завершил его дважды, это два completions, но одно unique completion.

Unique completions rate

Только для A/B-тестов онбординга. Число уникальных завершений, делённое на число уникальных просмотров. Эта метрика помогает понять, как пользователи взаимодействуют с онбордингом через вариации в A/B-тесте, и вносить изменения, если вы замечаете, что пользователи его игнорируют.