Изучайте важные данные и выводы из наших A/B-тестов, сравнивая разные пейволы и онбординги, чтобы понять, как они влияют на поведение пользователей, вовлечённость и конверсию. Анализируя метрики и результаты здесь, вы можете принимать обоснованные решения и улучшать производительность приложения. Погрузитесь в данные, чтобы найти практические выводы и повысить успех вашего приложения.

Результаты A/B-теста

Adapty предоставляет три метрики для результатов A/B-теста:

Revenue: Эта метрика показывает общую сумму дохода в USD от покупок и продлений за вычетом возвратов пользователям. Она включает как первоначальную покупку, так и последующие продления подписки. Revenue помогает понять, как финансово работает каждый вариант A/B-теста, и определить, какой из них приносит больше всего денег.

Подробнее о метриках пейвола и онбординга.

Probability to be best: Adapty использует надёжную математическую аналитическую систему для анализа результатов A/B-тестов и предоставляет метрику под названием Probability to be best. Эта метрика оценивает вероятность того, что конкретный вариант является наилучшим (с точки зрения долгосрочного дохода) среди всех протестированных вариантов. Метрика выражается в процентах от 1% до 100%. Подробную информацию о том, как Adapty рассчитывает эту метрику, см. в документации.Наилучший вариант, определяемый по Revenue per 1K user, выделяется зелёным цветом и автоматически выбирается в качестве варианта по умолчанию.

Revenue per 1K users: Метрика Revenue per 1K users рассчитывает средний доход, генерируемый на 1 000 пользователей для каждого варианта A/B-теста. Эта метрика помогает оценить эффективность вариантов с точки зрения дохода вне зависимости от общего числа пользователей. Она позволяет сравнивать производительность разных вариантов в стандартизированном масштабе и принимать обоснованные решения на основе эффективности генерации дохода.

Prediction intervals for revenue 1K users: Метрика Revenue per 1K users также включает интервалы прогноза. Эти интервалы представляют диапазон, в пределах которого, по прогнозу, будет находиться реальный доход на 1 000 пользователей для данного варианта, исходя из доступных данных и статистического анализа.

В контексте A/B-тестирования, при анализе дохода, генерируемого разными вариантами, мы рассчитываем средний доход на 1 000 пользователей для каждого варианта. Поскольку доход может варьироваться среди пользователей, интервалы прогноза дают чёткое представление о правдоподобных значениях дохода на 1 000 пользователей с учётом вариативности и неопределённости, связанных с процессом прогнозирования.

Включая интервалы прогноза в метрику Revenue per 1K users, Adapty позволяет оценивать эффективность вариантов A/B-теста с учётом диапазона возможных исходов дохода. Эта информация помогает принимать решения на основе данных и эффективно оптимизировать стратегию подписки, принимая во внимание неопределённость в процессе прогнозирования и правдоподобные значения дохода на 1 000 пользователей.

Анализируя эти метрики, предоставляемые Adapty, вы можете получить информацию о финансовых показателях, статистической значимости и эффективности дохода вариантов A/B-теста, что позволяет принимать решения на основе данных и эффективно оптимизировать стратегию подписки.

Метрики A/B-теста

Adapty предоставляет исчерпывающий набор метрик для эффективного измерения производительности A/B-тестов, проводимых на вариациях пейвола или онбординга. Эти метрики постоянно обновляются в режиме реального времени, за исключением просмотров, которые обновляются периодически. Понимание этих метрик поможет оценить эффективность различных вариаций и принимать решения на основе данных для оптимизации стратегии пейвола или онбординга.

Метрики A/B-теста доступны в списке A/B-тестов, где можно получить обзор производительности всех ваших A/B-тестов. Это комплексное представление предлагает агрегированные метрики для каждой вариации теста, позволяя сравнивать их производительность и выявлять существенные различия. Для более детального анализа каждого A/B-теста можно обратиться к метрикам деталей A/B-теста. В этом разделе представлены подробные метрики, специфичные для выбранного A/B-теста, позволяющие углубиться в производительность отдельных вариаций.

Все метрики, за исключением просмотров, относятся к продукту в пейволе или онбординге.

Элементы управления метриками

Система отображает метрики на основе выбранного периода времени и организует их в соответствии с параметром левого столбца с тремя уровнями отступов.

Фильтрация по дате установки профиля

Флажок Filter metrics by install date позволяет фильтровать метрики по дате установки профиля вместо стандартных фильтров, которые используют дату пробного периода/покупки для транзакций или дату просмотра для просмотров пейвола или онбординга. Выбрав этот флажок, вы можете сосредоточиться на измерении эффективности привлечения пользователей за конкретный период, согласовав метрики с датой установки профиля. Эта опция полезна для настройки анализа метрик в соответствии с вашими конкретными потребностями.

Временные диапазоны

Вы можете выбирать из ряда временных периодов для анализа данных метрик, что позволяет сосредоточиться на конкретных промежутках, таких как дни, недели, месяцы или произвольные диапазоны дат.

Доступные фильтры и группировка

Adapty предлагает мощные инструменты для фильтрации и настройки анализа метрик под ваши нужды. На странице метрик Adapty доступны различные временные диапазоны, параметры группировки и варианты фильтрации.

• ✅ Фильтровать по: аудитории, атрибуции, стране, пейволу, состоянию пейвола, группе пейволов, онбордингу, плейсменту, стране, стору, продукту и продукту в сторе.
• ✅ Группировать по: продукту и стору.

Больше информации о доступных элементах управления, фильтрах, параметрах группировки и способах их использования для аналитики пейвола или онбординга можно найти в этой документации.

График отдельной метрики

Один из ключевых компонентов страницы метрик пейвола или онбординга — раздел графиков, который наглядно представляет выбранные метрики и облегчает анализ.

Раздел графиков на странице метрик A/B-теста включает горизонтальную столбчатую диаграмму, наглядно представляющую значения выбранной метрики. Каждый столбец диаграммы соответствует значению метрики и пропорционален по размеру, что позволяет легко воспринять данные с первого взгляда. Горизонтальная линия указывает на анализируемый временной период, а вертикальный столбец отображает числовые значения метрик. Общее значение всех метрик отображается рядом с графиком.

Кроме того, нажав на значок стрелки в правом верхнем углу раздела графиков, можно развернуть представление и отобразить выбранные метрики на всей ширине графика.

Сводка A/B-теста

Рядом с графиком отдельной метрики отображается раздел сводки деталей A/B-теста, который содержит информацию о состоянии, продолжительности, плейсментах и других связанных деталях A/B-теста.

Определения метрик

Вот ключевые метрики, доступные для A/B-тестов:

Revenue

Revenue представляет общую сумму денег, сгенерированных в USD от покупок и продлений в результате A/B-теста. Она включает первоначальную покупку и последующие продления подписки. Метрика Revenue рассчитывается до вычета комиссии App Store или Play Store.

Подробнее о метриках Revenue для пейвола и онбординга.

CR to purchases

Коэффициент конверсии в покупки измеряет эффективность A/B-теста в плане конвертации просмотров в реальные покупки. Рассчитывается путём деления числа покупок на число просмотров. Например, если было 10 покупок и 100 просмотров, коэффициент конверсии в покупки составит 10%.

CR trials

Коэффициент конверсии (CR) в пробные периоды — это число пробных периодов, запущенных из A/B-теста, делённое на число просмотров. CR в пробные периоды измеряет эффективность A/B-теста в конвертации просмотров в активации пробного периода. Рассчитывается путём деления числа запущенных пробных периодов на число просмотров.

Purchases

Метрика Purchases представляет общее число транзакций, совершённых в пейволе или онбординге в результате A/B-теста. Она включает следующие типы покупок:

• Новые совершённые покупки.
• Конверсии из пробных периодов, которые были активированы.
• Даунгрейды, апгрейды и кросс-грейды подписок.
• Восстановления подписок (например, когда подписка истекла без автопродления и впоследствии была восстановлена).

Обратите внимание, что продления не включаются в метрику Purchases.

Trials

Метрика Trials указывает общее число активированных пробных периодов в результате A/B-теста.

Trials cancelled

Метрика Trials cancelled представляет число пробных периодов, в которых автопродление было отключено. Это происходит, когда пользователи вручную отменяют подписку на пробный период.

Refunds

Refunds для A/B-теста представляют число возвратов покупок и подписок, непосредственно связанных с тестируемыми вариациями.

Views

Views — это число просмотров пейволов или онбордингов, входящих в A/B-тест. Если пользователь посещает дважды, это считается двумя посещениями.

Unique views

Unique views — это число уникальных просмотров пейвола или онбординга. Если пользователь посещает его дважды, это считается одним уникальным просмотром.

Probability to be the best

Метрика Probability to be the best количественно оценивает вероятность того, что конкретный вариант в A/B-тесте является наилучшим среди всех протестированных пейволов или онбордингов. Она предоставляет числовую вероятность, указывающую на относительную производительность каждого пейвола или онбординга. Метрика выражается в процентах от 1% до 100%.

ARPU (Average revenue per user)

Только для A/B-тестов онбординга. Измеряет средний доход, генерируемый от каждого пользователя за определённый период. Рассчитывается путём деления общего дохода на число уникальных пользователей.

ARPPU (Average revenue per paying user)

ARPPU расшифровывается как Average Revenue Per Paying User (средний доход на платящего пользователя) в результате A/B-теста. Рассчитывается как общий доход, делённый на число уникальных платящих пользователей. Например, если вы получили $15 000 дохода от 1 000 платящих пользователей, ARPPU составит $15.

ARPAS (Average revenue per active subscriber)

ARPAS — метрика, позволяющая измерить средний доход, генерируемый на активного подписчика в результате A/B-теста. Рассчитывается путём деления общего дохода на число подписчиков, активировавших пробный период или подписку. Например, если общий доход составляет $5 000 и у вас 1 000 подписчиков, ARPAS составит $5. Эта метрика помогает оценить средний потенциал монетизации на одного подписчика.

Proceeds

Метрика Proceeds для A/B-теста представляет фактическую сумму денег, полученных владельцем приложения в USD от покупок и продлений после вычета применимой комиссии App Store / Play Store. Она отражает чистый доход, непосредственно связанный с вариациями, протестированными в A/B-тесте, и напрямую влияет на заработок приложения. Дополнительную информацию о том, как рассчитываются Proceeds, см. в документации Adapty.

Unique subscribers

Метрика Unique subscribers представляет количество уникальных пользователей, оформивших подписку или активировавших пробный период через вариации в A/B-тесте. Каждый подписчик учитывается только один раз, независимо от числа инициированных подписок или пробных периодов.

Unique paid subscribers

Метрика Unique paid subscribers представляет число уникальных пользователей, успешно совершивших покупку и ставших платными подписчиками через вариации в A/B-тесте.

Refund rate

Refund rate для A/B-теста рассчитывается путём деления числа возвратов, непосредственно связанных с вариациями теста, на число первичных покупок (продления исключаются). Например, если было 5 возвратов и 1 000 первичных покупок, refund rate составит 0,5%.

Unique CR purchases

Уникальный коэффициент конверсии в покупки для A/B-теста рассчитывается путём деления числа покупок, непосредственно связанных с вариациями теста, на число уникальных просмотров. Например, если было 10 покупок и 100 уникальных просмотров, уникальный коэффициент конверсии в покупки составит 10%.

Unique CR trials

Уникальный коэффициент конверсии в пробные периоды для A/B-теста рассчитывается путём деления числа запущенных пробных периодов, непосредственно связанных с вариациями теста, на число уникальных просмотров. Например, если было запущено 30 пробных периодов и 100 уникальных просмотров, уникальный коэффициент конверсии в пробные периоды составит 30%.

Completions & unique completions

Только для A/B-тестов онбординга. Completions подсчитывают количество раз, когда пользователи завершают онбординг через вариации в A/B-тесте, то есть проходят путь от первого до последнего экрана. Если кто-то завершил его дважды, это два completions, но одно unique completion.

Unique completions rate

Только для A/B-тестов онбординга. Число уникальных завершений, делённое на число уникальных просмотров. Эта метрика помогает понять, как пользователи взаимодействуют с онбордингом через вариации в A/B-тесте, и вносить изменения, если вы замечаете, что пользователи его игнорируют.