Агентский скилл для A/B-тестов

Скилл ab-tests запускает обычные A/B-тесты пейволов или флоу из вашего AI-инструмента. Агент вместе с вами планирует тест, создаёт недостающие элементы, формирует тест как черновик, а затем запускает его, останавливает с выбором победителя или заменяет изменённым вариантом. Всё это работает через CLI-команды adapty ab-tests.

Что можно спросить

Общайтесь так, как если бы объясняли задачу коллеге. Называть скилл не нужно:

Run a 50/50 test of my Monthly and Annual paywalls for users in Germany.

Test my new onboarding flow against the current one.

Which A/B tests are running in my app?

Stop the price test. B wins.

Change the weights of my flow test to 70/30.

Archive the old tests on the settings placement.

Прежде чем начать

• AI-инструмент, который умеет выполнять команды в терминале: например, Claude Code, Codex, Copilot CLI или Gemini CLI. Чат-инструменты вроде claude.ai или ChatGPT не могут запускать CLI, поэтому они не получат доступ к вашему аккаунту Adapty.
• Adapty CLI версии 0.13.0 или выше: скилл установит CLI самостоятельно, если его нет. Если в вашем CLI нет команд ab-tests, скилл сообщит об этом и направит вас в дашборд.

Установите скилл

Скилл ab-tests входит в состав плагина adapty-skills. Чтобы установить плагин, выполните в терминале команду:

npx adapty skills install

Перезапустите агент, чтобы загрузить скиллы. Другие способы установки описаны в README плагина.

Как скилл запускает тест

1. Скилл согласует с вами план: тест пейвола или флоу, сравниваемые пейволы или флоу и их веса, плейсмент, аудиторию и цель. Все недостающие детали он запрашивает в одном сообщении.
2. Он проверяет каждый элемент и создаёт всё, что может. См. Что нужно для теста.
3. Он создаёт тест как черновик. Черновик не виден пользователям, поэтому этот шаг не требует подтверждения.
4. Он читает тест и плейсмент, затем показывает эффект от запуска: что аудитория видит сейчас, что будет видеть после запуска, какой пейвол, флоу или запущенный тест прекратит работу и какие пользователи войдут в тест.
5. Он ждёт вашего подтверждения. Более раннее «давай» в отношении плана не считается. Если вы откажетесь, он ничего не отправит.
6. Он перечитывает плейсмент прямо перед запуском. Если плейсмент изменился с момента, когда вы видели эффект, он показывает новый эффект и снова спрашивает подтверждение.
7. Он запускает тест и перечитывает его, чтобы подтвердить, что сейчас работает.

Остановка, замена и архивирование теста выполняются по шагам 4–7 с соответствующим действием вместо запуска.

Скилл не запускает тест повторно после его завершения, поскольку пользователи, участвовавшие в нём, снова попали бы в старый вариант. Вместо этого скилл предлагает создать новый тест с теми же вариантами.

Что нужно для теста

Тест может сравнивать только то, что существует. Скилл проверяет каждый элемент и создаёт те, которые CLI умеет создавать:

На какую аудиторию распространяется тест

Тест запускается на одну аудиторию плейсмента:

• Если в плейсменте уже есть аудитория для вашего сегмента или тест предназначен для всех пользователей, тест использует эту аудиторию. Тест, который сейчас там запущен, останавливается.
• Если в плейсменте нет аудитории для вашего сегмента, скилл добавляет аудиторию для вашего сегмента с наивысшим приоритетом в плейсменте. Пользователи сегмента, которые в данный момент попадают в другую аудиторию, переходят в тест, и скилл называет эти аудитории до того, как вы подтвердите действие.

Чтобы задать тесту более низкий приоритет, чем у другой аудитории, обратитесь к скиллу. Сначала скилл добавит ваш сегмент как аудиторию с этим приоритетом и с тем пейволом или флоу, которые пользователи видят сейчас, — чтобы для них ничего не изменилось. Затем скилл запустит тест на этой аудитории.

Изменение, остановка и архивирование теста

• Переименовать или изменить цель: скилл обновляет тест. Пользователи остаются в своих вариантах, а тест сохраняет время старта.
• Изменить варианты или веса в живом тесте: скилл заменяет тест. Живой тест останавливается и сохраняет результаты, а на той же аудитории стартует новый тест. Adapty заново распределяет всех пользователей аудитории по вариантам. На дашборде это действие называется Modify.
• Остановить тест: скажите скиллу, какой пейвол или флоу аудитория должна видеть после остановки — победителя, другой контент или ничего. Чтобы выбрать победителя, посмотрите результаты на дашборде: Результаты и метрики A/B-тестов.
• Архивировать тест: скилл архивирует любой тест, который не является живым. Восстановить архивированный тест нельзя.

В сочетании с другими скиллами

• Найдите, что тестировать: скилл growth-advisor анализирует ваши данные и предлагает гипотезы. Когда вы выбираете одну из них, growth-advisor проверяет, что всё необходимое для теста существует, и передаёт тест скиллу ab-tests.
• Создайте контент: скилл flow-generator создаёт копию вашего флоу с нужным изменением для теста.
• Показывайте контент без теста: Чтобы показывать разные пейволы или флоу разным пользователям без теста, обратитесь к своему агенту. Скилл audiences внесёт нужные изменения.

Ограничения

• Нет результатов: Скилл не читает результаты тестов. Смотрите их в дашборде, а затем сообщайте скиллу, какой вариант победил.
• Один плейсмент на тест: Для запуска кросс-плейсментного теста используйте дашборд.
• Старый конструктор онбордингов: Управляйте тестами онбордингов, созданными в старом конструкторе, через дашборд.
• Нет автозапусков: При запуске по расписанию или в скрипте, когда некому отвечать, скилл только просматривает и читает тесты, а также создаёт и изменяет черновики. Для запуска, остановки, замены или архивирования он сообщает о последствиях и команде, которую нужно выполнить.

Чтобы запускать команды самостоятельно, без скилла, см. Запуск A/B-тестов из CLI.