English 中文TürkçeРусскийFrançaisTiếng ViệtEspañol日本語

A/B テスト用エージェントスキル

ab-tests スキルは、AIコーディングツールからペイウォールまたはフローのA/B テストを実行します。エージェントはあなたとともにテストを計画し、不足しているものを作成し、テストをドラフトとして作成して、開始・停止・差し替えを行います。adapty ab-tests CLI コマンドを通じて動作します。

Note

テストの開始・停止・差し替え・アーカイブは取り消しできません。これらの各ステップの前に、スキルは誰がいつから何を見るかをわかりやすく説明し、あなたの承認後にのみコマンドを実行します。

聞き方のコツ

同僚にブリーフィングするような感覚で話しかけてください。スキル名を明示する必要はありません：

Run a 50/50 test of my Monthly and Annual paywalls for users in Germany.

Test my new onboarding flow against the current one.

Which A/B tests are running in my app?

Stop the price test. B wins.

Change the weights of my flow test to 70/30.

Archive the old tests on the settings placement.
ab-tests
MainプレースメントでドイツユーザーにMonthlyとAnnualペイウォールを50/50でテストしてください。
読み取り専用コマンドを5回実行し、ドラフトを作成しました
  • adapty paywalls list
  • adapty placements list
  • adapty segments list
  • adapty ab-tests create --title "Monthly vs Annual" --paywalls '[…]'
  • adapty ab-tests get <test-id>
  • adapty placements get <placement-id>

「Monthly vs Annual」をテストとして下書きで作成しました。まだ誰にも表示されていません。

A/B テストを開始する

メインプレースメントでドイツのユーザーを対象に「Monthly vs Annual」を開始します。

  • 現在：ドイツのユーザーには Monthly ペイウォールが表示されています。
  • 開始後：Monthly ペイウォール（50%）または Annual ペイウォール（50%）が表示されます。セグメントへの変更がすべてのユーザーに反映されるまで、最大 20 分かかる場合があります。
  • 停止：ドイツのユーザーへの Monthly ペイウォールの表示が停止します。現在そこでテストは実行されていないため、停止するテストはありません。
  • この操作は元に戻せません。 後でテストを停止しても、置き換える前の状態には戻りません。

開始しますか？

  1. Yes
  2. No
サンプルアプリを使った会話の例。プレースメントとペイウォールは異なる場合があります。

始める前に

  • ターミナルコマンドを実行できるAIツール: 例えば、Claude Code、Codex、Copilot CLI、Gemini CLIなどです。claude.aiやChatGPTのようなチャットツールはCLIを実行できないため、Adaptyアカウントにアクセスできません。
  • Adapty CLI バージョン0.13.0以降: スキルはCLIが見つからない場合に自動でインストールします。CLIにab-testsコマンドがない場合、スキルはその旨を伝え、ダッシュボードへ誘導します。

スキルをインストールする

ab-tests スキルは adapty-skills プラグインの一部です。プラグインをインストールするには、ターミナルで次のコマンドを実行してください：

npx adapty skills install

スキルを読み込むには、エージェントを再起動してください。その他のインストール方法については、プラグインの README を参照してください。

スキルがテストを実行する仕組み

  1. スキルはあなたとプランについて合意します：ペイウォールテストかフローテストか、比較するペイウォールまたはフロー、それぞれのウェイト、プレースメント、オーディエンス、そして目標。不足している情報はすべてまとめて1つのメッセージで確認します。
  2. 各項目を検証し、作成できるものは作成します。テストに必要なものを参照してください。
  3. テストを下書きとして作成します。下書きはユーザーには表示されないため、このステップで確認は不要です。
  4. テストとプレースメントを読み取り、開始した場合の影響を表示します：オーディエンスが現在見ているもの、開始後に見るもの、停止するペイウォール・フロー・実行中テスト、テストに移行するユーザー。
  5. あなたの確認を待ちます。プランについての「進めてください」は確認としてカウントされません。「いいえ」と答えた場合、何も送信されません。
  6. 開始直前にプレースメントを再度読み取ります。影響を確認してからプレースメントが変更されていた場合は、新しい影響を表示して再度確認を求めます。
  7. テストを開始し、読み取って現在実行中の内容を確認します。

テストの停止、差し替え、アーカイブは、開始の代わりにその操作を行うだけで、手順4〜7と同じ流れです。

スキルは一度実行したテストを再開しません。テストに参加していたユーザーが以前と同じバリアントに割り当てられてしまうためです。代わりに、同じバリアントを持つ新しいテストを提案します。

テストに必要なもの

テストは、存在するコンテンツしか比較できません。スキルは各要素を検証し、CLIで作成できるものを作成します：

ピーススキルが行うこと
フローフローが公開済みであることを確認します。フローは公開後にのみテストに参加できます。フローのビルドまたは公開には、flow-generator スキルが対応します。
Adapty に既存のプロダクトを使ったペイウォール確認後に作成します。
新しいデザインのペイウォールペイウォールビルダーで作成するか、アプリ自身が描画するペイウォールの場合はアプリのコードで作成するよう案内します。
新しいプロダクトApp Store Connect または Google Play Console で作成し、Adapty に追加するよう案内します。プロダクトを参照してください。
セグメント確認後、オーディエンススキルを通じて作成します。
プレースメント後から変更できない開発者 ID を承認した後に作成します。アプリのコードが新しいプレースメントをフェッチするまで、そのプレースメントからは何も表示されません。また、そのプレースメントをフェッチするアプリバージョンをリリースするまで、テストはどのユーザーにも届きません。

テストが対象とするオーディエンス

テストはプレースメントの1つのオーディエンスで実行されます：

  • プレースメントにすでにあなたのセグメント向けのオーディエンスがある場合、またはテストが「全ユーザー」を対象とする場合、テストはそのオーディエンスを使用します。現在そこで実行中のテストは停止します。
  • プレースメントにあなたのセグメント向けのオーディエンスがない場合、スキルはそのセグメント向けのオーディエンスを最高優先度でプレースメントに追加します。現在他のオーディエンスにマッチしているセグメントのユーザーはテストに移動し、スキルはあなたが承認する前にそれらのオーディエンスに名前を付けます。

テストに別のオーディエンスより低い優先度を設定するには、スキルに依頼してください。スキルはまず、そのセグメントを現在のユーザーが見ているペイウォールまたはフローを維持したまま、指定した優先度のオーディエンスとして追加します。これにより、ユーザーへの影響はありません。その後、そのオーディエンスでテストを開始します。

テストの変更、停止、またはアーカイブ

  • 名前変更または目標の変更: スキルがテストを更新します。ユーザーはそのままバリアントに割り当てられ、テストの開始時刻も維持されます。
  • ライブテストのバリアントやウェイトの変更: スキルがテストを置き換えます。ライブテストは停止して結果を保持し、同じオーディエンスで新しいテストが開始されます。Adapty はオーディエンスの全ユーザーを再度バリアントに割り当てます。ダッシュボードでは Modify と表示されます。
  • 停止: オーディエンスがその後表示するペイウォールまたはフローをスキルに伝えます（勝者、別のコンテンツ、またはなし）。勝者を選ぶには、ダッシュボードで結果を確認してください: A/B テストの結果と指標。
  • アーカイブ: スキルはライブでないテストをアーカイブします。アーカイブしたテストは復元できません。

他のスキルとの連携

  • テストすべき内容を見つける: growth-advisor スキルは数値を読み取り、仮説を提案します。仮説を選ぶと、growth-advisor がテストに必要なものがすべて揃っているかを確認し、ab-tests スキルにテストを引き渡します。
  • コンテンツを作成する: flow-generator スキルは、テストする変更を加えたフローのコピーを作成します。
  • テストなしでコンテンツを表示する: テストを実施せずに異なるユーザーに異なるペイウォールやフローを表示するには、エージェントに依頼してください。audiences スキルが変更を行います。

制限事項

  • 結果の読み取り不可: スキルはテスト結果を読み取りません。ダッシュボードで結果を確認し、どのアームが勝ったかをスキルに伝えてください。
  • 1テストにつき1プレースメント: クロスプレースメントテストを実行するには、ダッシュボードを使用してください。
  • 旧オンボーディングビルダー: 旧オンボーディングビルダーで作成したオンボーディングテストはダッシュボードで管理してください。
  • 無人起動不可: スケジュール実行やスクリプト内など、応答者がいない場合、スキルはテストの一覧表示・読み取り、ドラフトの作成・変更のみを行います。開始・停止・置き換え・アーカイブについては、実行内容と実行すべきコマンドを報告します。

スキルを使わずにコマンドを自分で実行する場合は、CLIからA/Bテストを実行するを参照してください。