Изучайте важные данные и выводы из A/B-тестов: сравнивайте разные пейволы и онбординги, чтобы понять, как они влияют на поведение пользователей, вовлечённость и конверсию. Анализируйте метрики и результаты, чтобы принимать взвешенные решения и повышать эффективность приложения. Погружайтесь в данные — находите полезные инсайты и добивайтесь успеха.

Результаты A/B-теста

Adapty предоставляет три метрики для результатов A/B-теста:

Revenue: Эта метрика показывает общую сумму денег в USD, полученных от покупок и продлений подписок, за вычетом возвратов средств пользователям. Она учитывает как первоначальную покупку, так и последующие продления подписки. Revenue помогает понять, как каждый вариант A/B-теста работает с финансовой точки зрения, и определить, какой из них приносит больше всего денег.

Узнайте больше о метриках пейвола. Вероятность быть лучшим: Adapty использует надёжную математическую методику для анализа результатов A/B-тестов и предоставляет метрику под названием «Вероятность быть лучшим». Эта метрика оценивает вероятность того, что конкретный вариант является наилучшим по долгосрочной выручке среди всех тестируемых вариантов. Метрика выражается в процентах от 1% до 100%. Подробнее о том, как Adapty рассчитывает эту метрику, читайте в документации. Наилучший вариант, определяемый по выручке на 1000 пользователей, выделяется зелёным цветом и автоматически выбирается по умолчанию. Доход на 1K пользователей: метрика «Доход на 1K пользователей» вычисляет средний доход, генерируемый на 1 000 пользователей для каждого варианта A/B-теста. Она помогает оценить эффективность вариантов с точки зрения дохода вне зависимости от общего числа пользователей — сравнивать варианты на стандартизированной шкале и принимать взвешенные решения на основе показателей эффективности генерации дохода. Доверительные интервалы прогноза для дохода на 1K пользователей: Метрика дохода на 1K пользователей включает доверительные интервалы прогноза. Они показывают диапазон, в который, по оценке статистического анализа на основе имеющихся данных, попадёт истинное значение дохода на 1 000 пользователей для данного варианта. В контексте A/B-тестирования при анализе выручки, генерируемой разными вариантами, мы рассчитываем среднюю выручку на 1000 пользователей для каждого варианта. Поскольку выручка может варьироваться от пользователя к пользователю, интервалы прогноза наглядно показывают правдоподобный диапазон значений выручки на 1000 пользователей с учётом вариативности и неопределённости, присущих процессу прогнозирования. Включая интервалы прогнозов в метрику дохода на 1000 пользователей, Adapty позволяет оценивать эффективность вариантов A/B-теста с учётом диапазона возможных результатов по выручке. Эта информация помогает принимать решения на основе данных и эффективно оптимизировать стратегию подписок — с учётом неопределённости в процессе прогнозирования и возможных значений дохода на 1000 пользователей. Анализируя эти метрики в Adapty, вы получаете представление о финансовых показателях, статистической значимости и эффективности дохода вариантов A/B-теста — и можете принимать решения на основе данных, оптимизируя стратегию подписок.

Метрики A/B-теста

Adapty предоставляет полный набор метрик для эффективного измерения результатов A/B-теста на вариантах пейвола или онбординга. Метрики обновляются в реальном времени, за исключением просмотров — они обновляются периодически. Понимание этих метрик поможет вам оценить эффективность разных вариантов и принимать решения на основе данных для оптимизации стратегии пейвола или онбординга. Метрики A/B-тестов доступны в списке A/B-тестов, где можно получить общее представление о результатах всех ваших A/B-тестов. В этом сводном представлении отображаются агрегированные метрики для каждого варианта теста, что позволяет сравнивать их эффективность и выявлять значимые различия. Для более детального анализа конкретного A/B-теста можно перейти к детальным метрикам A/B-теста. В этом разделе представлены подробные метрики, относящиеся к выбранному A/B-тесту, которые позволяют глубоко изучить результаты отдельных вариантов. Все метрики, за исключением просмотров, относятся к продукту в рамках пейвола или онбординга.

Элементы управления метриками

Система отображает метрики на основе выбранного периода времени и организует их в соответствии с параметром левого столбца с тремя уровнями отступов.

Фильтрация профилей по дате установки

Флажок Filter metrics by install date позволяет фильтровать метрики по дате установки профиля вместо стандартных фильтров, которые используют дату пробного периода/покупки для транзакций или дату просмотра для пейволов и онбордингов. Выбрав этот флажок, вы можете сосредоточиться на оценке эффективности привлечения пользователей за конкретный период, привязав метрики к дате установки профиля. Эта опция полезна, когда нужно адаптировать анализ метрик под конкретные задачи.

Временные диапазоны

Вы можете выбирать из ряда временных периодов для анализа данных метрик, что позволяет сосредоточиться на конкретных промежутках, таких как дни, недели, месяцы или произвольные диапазоны дат.

Доступные фильтры и группировка

Adapty предоставляет мощные инструменты для фильтрации и настройки анализа метрик под ваши задачи. На странице метрик доступны различные временные диапазоны, варианты группировки и возможности фильтрации.

• ✅ Фильтрация по: аудитории, атрибуции, стране, пейволу, состоянию пейвола, группе пейволов, онбордингу, плейсменту, стране, стору, продукту и стору продукта.
• ✅ Группировка по: продукту и стору.

График отдельной метрики

Один из ключевых элементов страницы метрик пейвола или онбординга — раздел с графиком, который наглядно отображает выбранные метрики и упрощает их анализ.

График на странице метрик A/B-теста содержит горизонтальную столбчатую диаграмму, которая визуально отображает значения выбранной метрики. Каждый столбец соответствует значению метрики и пропорционален ему по размеру — это позволяет мгновенно считывать данные. Горизонтальная линия показывает анализируемый временной промежуток, вертикальный столбец отображает числовые значения метрик. Суммарное значение всех метрик отображается рядом с графиком. Кроме того, нажатие на значок стрелки в правом верхнем углу раздела графика разворачивает область просмотра, отображая выбранные метрики на полной линии графика.

Сводка A/B-теста

Рядом с графиком отдельной метрики отображается раздел сводки деталей A/B-теста, который содержит информацию о состоянии, продолжительности, плейсментах и других связанных деталях A/B-теста.

Определения метрик

Вот ключевые метрики, доступные для A/B-тестов:

Доход

Доход — это общая сумма в USD, полученная от покупок и продлений подписок в рамках A/B-теста. Включает первоначальную покупку и последующие продления подписки. Метрика рассчитывается до вычета комиссии App Store или Play Store.

Подробнее о метриках дохода пейвола.

CR to purchases

Коэффициент конверсии в покупки измеряет эффективность A/B-теста в плане конвертации просмотров в реальные покупки. Рассчитывается путём деления числа покупок на число просмотров. Например, если было 10 покупок и 100 просмотров, коэффициент конверсии в покупки составит 10%.

CR trials

Коэффициент конверсии (CR) в пробные периоды — это число пробных периодов, запущенных из A/B-теста, делённое на число просмотров. CR в пробные периоды измеряет эффективность A/B-теста в конвертации просмотров в активации пробного периода. Рассчитывается путём деления числа запущенных пробных периодов на число просмотров.

Purchases

Метрика Purchases представляет общее число транзакций, совершённых в пейволе или онбординге в результате A/B-теста. Она включает следующие типы покупок:

• Новые совершённые покупки.
• Конверсии из пробных периодов, которые были активированы.
• Даунгрейды, апгрейды и кросс-грейды подписок.
• Восстановления подписок (например, когда подписка истекла без автопродления и впоследствии была восстановлена).

Обратите внимание, что продления не включаются в метрику Purchases.

Trials

Метрика Trials указывает общее число активированных пробных периодов в результате A/B-теста.

Trials cancelled

Метрика Trials cancelled представляет число пробных периодов, в которых автопродление было отключено. Это происходит, когда пользователи вручную отменяют подписку на пробный период.

Refunds

Refunds для A/B-теста представляют число возвратов покупок и подписок, непосредственно связанных с тестируемыми вариациями.

Views

Views — это число просмотров пейволов или онбордингов, входящих в A/B-тест. Если пользователь посещает дважды, это считается двумя посещениями.

Unique views

Unique views — это число уникальных просмотров пейвола или онбординга. Если пользователь посещает его дважды, это считается одним уникальным просмотром.

Probability to be the best

Метрика Probability to be the best количественно оценивает вероятность того, что конкретный вариант в A/B-тесте является наилучшим среди всех протестированных пейволов или онбордингов. Она предоставляет числовую вероятность, указывающую на относительную производительность каждого пейвола или онбординга. Метрика выражается в процентах от 1% до 100%.

ARPU (Average revenue per user)

Только для A/B-тестов онбординга. Измеряет средний доход, генерируемый от каждого пользователя за определённый период. Рассчитывается путём деления общего дохода на число уникальных пользователей.

ARPPU (Average revenue per paying user)

ARPPU расшифровывается как Average Revenue Per Paying User (средний доход на платящего пользователя) в результате A/B-теста. Рассчитывается как общий доход, делённый на число уникальных платящих пользователей. Например, если вы получили $15 000 дохода от 1 000 платящих пользователей, ARPPU составит $15.

ARPAS (Average revenue per active subscriber)

ARPAS — метрика, позволяющая измерить средний доход, генерируемый на активного подписчика в результате A/B-теста. Рассчитывается путём деления общего дохода на число подписчиков, активировавших пробный период или подписку. Например, если общий доход составляет $5 000 и у вас 1 000 подписчиков, ARPAS составит $5. Эта метрика помогает оценить средний потенциал монетизации на одного подписчика.

Proceeds

Метрика Proceeds для A/B-теста представляет фактическую сумму денег, полученных владельцем приложения в USD от покупок и продлений после вычета применимой комиссии App Store / Play Store. Она отражает чистый доход, непосредственно связанный с вариациями, протестированными в A/B-тесте, и напрямую влияет на заработок приложения. Дополнительную информацию о том, как рассчитываются Proceeds, см. в документации Adapty.

Unique subscribers

Метрика Unique subscribers представляет количество уникальных пользователей, оформивших подписку или активировавших пробный период через вариации в A/B-тесте. Каждый подписчик учитывается только один раз, независимо от числа инициированных подписок или пробных периодов.

Unique paid subscribers

Метрика Unique paid subscribers представляет число уникальных пользователей, успешно совершивших покупку и ставших платными подписчиками через вариации в A/B-тесте.

Refund rate

Refund rate для A/B-теста рассчитывается путём деления числа возвратов, непосредственно связанных с вариациями теста, на число первичных покупок (продления исключаются). Например, если было 5 возвратов и 1 000 первичных покупок, refund rate составит 0,5%.

Unique CR purchases

Уникальный коэффициент конверсии в покупки для A/B-теста рассчитывается путём деления числа покупок, непосредственно связанных с вариациями теста, на число уникальных просмотров. Например, если было 10 покупок и 100 уникальных просмотров, уникальный коэффициент конверсии в покупки составит 10%.

Unique CR trials

Уникальный коэффициент конверсии в пробные периоды для A/B-теста рассчитывается путём деления числа запущенных пробных периодов, непосредственно связанных с вариациями теста, на число уникальных просмотров. Например, если было запущено 30 пробных периодов и 100 уникальных просмотров, уникальный коэффициент конверсии в пробные периоды составит 30%.

Completions & unique completions

Только для A/B-тестов онбординга. Completions подсчитывают количество раз, когда пользователи завершают онбординг через вариации в A/B-тесте, то есть проходят путь от первого до последнего экрана. Если кто-то завершил его дважды, это два completions, но одно unique completion.

Unique completions rate

Только для A/B-тестов онбординга. Число уникальных завершений, делённое на число уникальных просмотров. Эта метрика помогает понять, как пользователи взаимодействуют с онбордингом через вариации в A/B-тесте, и вносить изменения, если вы замечаете, что пользователи его игнорируют.