CPP A/B-тесты в Adapty Ads Manager
CPP A/B-тесты позволяют сравнивать кастомные страницы продукта (CPP) между собой прямо в Apple Ads. Вы выбираете от 2 до 4 страниц продукта, и Adapty Ads Manager распределяет между ними трафик, собирает данные о результатах и определяет, какая страница лучше конвертирует. Вы можете добавить страницу продукта по умолчанию в качестве одного из вариантов — так вы проверите, работает ли кастомная страница лучше, чем текущая дефолтная.
Предварительные условия
Прежде чем создавать CPP A/B-тест, убедитесь, что:
- Apple Ads Manager подключён: Следуйте гайду по настройке, если вы ещё этого не сделали.
- Исходная группа объявлений получает трафик: Группа объявлений, которую вы тестируете, должна существовать не менее 28 дней и иметь показы, клики и установки за этот период. Apple Ads Manager использует эту историю для оценки продолжительности теста и необходимого размера выборки.
- У вас есть хотя бы одна кастомная страница продукта: Сначала создайте CPP в App Store Connect. Apple Ads Manager автоматически их считает.
Создание A/B-теста CPP
Чтобы создать тест, в левом сайдбаре перейдите в CPP A/B Tests и нажмите Create A/B Tests.
Мастер состоит из четырёх шагов: Ad Group(s), Ad Creative(s), Testing Method и Review.
1. Группа объявлений
Введите Test Name и нажмите Select Ad Group, чтобы выбрать группу объявлений с CPP, которые хотите протестировать. Можно выбрать до четырёх групп объявлений из одной кампании, но только если вы планируете тестировать одно рекламное объявление на всех них. Для сравнения нескольких CPP выберите одну группу объявлений.
2. Рекламные материалы
Выберите CPP, которые хотите сравнить. Можно включить Default Product Page (отмечена как Control) и до трёх Custom Product Pages — итого от 2 до 4 вариантов.
- Default Product Page: нажмите + Add Default, чтобы добавить текущую страницу продукта по умолчанию в качестве контрольного варианта.
- Custom Product Pages: нажмите + Select CPP, чтобы выбрать кастомную страницу продукта из App Store Connect.
3. Метод тестирования
Настройте способ проведения теста. Adapty Ads Manager автоматически вычисляет Calculated Test Duration, Start Time и End Time — значения обновляются при каждом изменении любого из трёх параметров ниже.
Switch Time Preset
Как часто система чередует варианты. Если выбранное значение слишком велико для текущего объёма трафика, система автоматически понизит его.
| Интервал | Типичный уровень трафика | Длительность слота | Типичная длительность теста |
|---|---|---|---|
| Hourly | Высокий (5 000+ показов в день) | 7 часов | Дни |
| Daily | Обычный | 24 часа | Недели |
| Weekly | Низкий (менее 400 показов в день) | 7 дней | Месяцы |
Слот — это базовый промежуток времени, в течение которого вариант показывается, прежде чем система решает, переключиться ли на следующий.
Желаемая точность
Минимальная разница в конверсии, которую тест способен надёжно обнаружить. Варианты: 1%, 2%, 3%, 4%, 5%. По умолчанию: 5%. Тест с точностью 1% улавливает незначительные отклонения, но требует больше данных и длится дольше. Тест с точностью 5% завершается быстрее, однако фиксирует только существенные различия.
| Точность | Когда использовать |
|---|---|
| 1–2% | Ожидаются небольшие различия между CPP, и у вас высокий трафик в группах объявлений. |
| 3–4% | Сбалансированный вариант по умолчанию для большинства тестов. |
| 5% | Ожидается явный победитель, и результаты нужны быстро. |
Уровень доверия
Насколько уверены вы хотите быть в том, что результат реален, а не случаен. Варианты: 80%, 85%, 90%, 95%, 99%. По умолчанию: 90%. Чем выше уровень доверия, тем больше данных потребуется.
| Confidence | Trade-off |
|---|---|
| 80–85% | Быстрее завершается, но выше риск, что результат окажется случайным. |
| 90% | Рекомендуемый показатель по умолчанию для большинства тестов. |
| 95–99% | Самый консервативный вариант. Требует больше всего данных и времени на тест. |
4. Проверка
Проверьте итоговую сводку — выбранные группы объявлений, креативы, метод тестирования, длительность, точность и уровень достоверности — затем нажмите Start CPP A/B Tests.
После запуска теста система клонирует группу объявлений для каждого варианта, активирует первый вариант, и через несколько минут статус теста изменится на Running.
Мониторинг запущенного теста
Чтобы открыть список тестов, перейдите в раздел CPP A/B Tests в левом сайдбаре. Четыре вкладки в верхней части страницы фильтруют тесты по состоянию:
- Live: тесты, которые выполняются прямо сейчас.
- Completed: завершённые тесты.
- Draft: тесты, которые ещё не запущены.
- Archive: старые тесты, которые больше не нужны в основном представлении.
На карточке каждого теста отображаются его название, статус, интервал переключения, желаемая точность и продолжительность работы. Нажмите View metrics, чтобы развернуть таблицу вариантов.
Производительность вариантов
Таблица вариантов сравнивает показатели всех вариантов в тесте:
| Колонка | Описание |
|---|---|
| Variant Name | Тестируемый CPP. Вариант A — всегда первый добавленный вами вариант. |
| Confidence Level | Насколько близок вариант к требуемому размеру выборки, в процентах от 0 до 100. |
| Impressions | Количество раз, когда Apple показала рекламу для этого варианта. |
| TTR | Показатель кликабельности: нажатия, делённые на показы. |
| Tap → Download CR | Конверсия из нажатия в загрузку. |
| CPT | Средняя стоимость одного нажатия. |
| Avg CPA (Tap-Through) | Средняя стоимость привлечения на основе загрузок через нажатие. |
| Spend | Общие расходы, атрибутированные варианту. |
| Revenue | Общая выручка, атрибутированная варианту. |
| ROAS | Рентабельность рекламных расходов: выручка, делённая на расходы. |
| Пока каждый вариант не наберёт сопоставимое количество показов, Adapty Ads Manager не выделяет победителя. Пока данные ещё поступают, над таблицей отображается баннер: Winner highlighting is paused — variants don’t have comparable impressions yet. |
Подробные метрики
Чтобы глубже изучить тест, нажмите View metrics — откроется страница с подробными метриками. На ней представлены кривые удержания когорт, сравнение ARPPU и таблица метрик, разбитая на два раздела:
- Top of funnel · Apple Search Ads: TTR, Download Rate, CPM, CPT и Avg CPA по каждому варианту.
- Bottom of funnel · Monetization: Paid users, Paid CR, Cost per Paid, ARPPU, Revenue и ROAS по каждому варианту. В столбце Winner отображается вариант, лидирующий по каждой метрике. Вариант признаётся общим победителем только тогда, когда он лидирует по основной метрике и достигает уровня достоверности не менее 95%.
Определения метрик см. в разделе Метрики в Adapty Ads Manager.
Остановить тест
Тест можно остановить в любой момент. Он получит статус Stopped, исходная группа объявлений будет восстановлена, а клонированные группы — приостановлены.
Чтобы остановить запущенный тест:
- Перейдите в раздел CPP A/B Tests в левом сайдбаре.
- Нажмите Stop A/B test на карточке теста или откройте тест и нажмите Stop Test.
- Подтвердите действие в диалоге Stop A/B Test?.
Остановка теста необратима — возобновить его не получится. Собранные к этому моменту результаты останутся доступны на вкладке Completed.
Статусы тестов
Каждый тест проходит через фиксированный набор статусов:
| Статус | Значение |
|---|---|
| Draft | Тест создан, но не запущен. Его можно отредактировать. |
| Starting | Идёт настройка — система клонирует группы объявлений и создаёт объявления. |
| Running | Тест запущен. Варианты чередуются, метрики собираются. |
| Completed | Запланированная длительность истекла или достигнута уверенность. Исходная группа объявлений восстановлена. |
| Stopped | Вы остановили тест вручную. Исходная группа объявлений восстановлена. |
| Failed | Настройка не удалась или произошло слишком много последовательных ошибок. Неудавшийся тест можно перезапустить. |
Как это работает
Adapty Ads Manager использует метод Ad Group Switch:
- Когда тест запускается, система клонирует исходную группу объявлений по одному разу для каждого варианта. Каждый клон ведёт на отдельный CPP (один из них может быть вашей страницей по умолчанию).
- В каждый момент времени активен только один клон. Система по фиксированному расписанию переключает активный клон (ежечасно, ежедневно или еженедельно).
- На время теста исходная группа объявлений приостанавливается. По завершении теста она возвращается в прежнее состояние.
- Adapty Ads Manager собирает данные о показах, нажатиях и загрузках по каждому варианту и отслеживает, насколько каждый вариант приближается к статистически значимой выборке.
- Тест завершается автоматически, как только по каждому варианту накоплено достаточно данных, или по истечении запланированного срока.
Чего ожидать во время работы теста
Вот несколько важных моментов о том, как работающий тест отображается на дашборде:
- Варианты не переключаются по жёсткому расписанию: интервал переключения — это базовый ориентир, но Adapty Ads Manager корректирует время так, чтобы каждый вариант набрал справедливую долю показов. Вариант может оставаться активным дольше одного слота, если отстаёт по показам.
- Время окончания может сдвинуться вперёд: если у варианта не хватает данных к плановому завершению, тест автоматически продлевается для сбора дополнительных кликов. Новое время окончания отображается на карточке теста.
- По завершении теста исходная группа объявлений восстанавливается: все клонированные группы объявлений ставятся на паузу, а исходная группа возвращается в статус, который был у неё до теста. Результаты остаются доступны на вкладке Completed.