CLIからA/Bテストを実行する

Adapty CLI を使うと、ターミナルから adapty ab-tests トピック配下でペイウォールやフローのA/B テストを操作できます。テストをドラフトとして作成したり、特定のオーディエンス向けのプレースメントで開始したり、勝者を決めて停止したり、実行中のテストを変更後のものに置き換えたり、古いテストをアーカイブしたり、各アームの結果を確認したりすることが可能です。

AI エージェントにテストを自動実行させたい場合、複数アプリにまたがってテストをスクリプト化したい場合、あるいはダッシュボードを開かずにテストを開始・停止したい場合に活用できます。

通常のテストは、1つのオーディエンスの1つのプレースメントにおいて、ユーザーを2つ以上のペイウォールまたは2つ以上のフロー間で分割します。複数のプレースメントにまたがるテストを実行するには、ダッシュボードでクロスプレースメントテストを使用してください。最も優れている確率などの結果を確認するには、ab-tests metricsコマンドを使用します。ダッシュボードで表示される同様の結果については、A/B テストの結果と指標を参照してください。1つのテストのユーザーに対するアナリティクスを確認するには、adapty analytics catalogのA/B testsディメンションでアナリティクスコマンドをフィルタリングしてください。

始める前に

ab-tests トピックは、CLIの他の部分と同じインストールおよびログインを使用します。まだ設定していない場合は、クイックスタートガイドのステップ1と2に従ってください。このトピックにはCLIバージョン0.14.0以降が必要で、ab-tests metrics コマンドには0.18.0以降が必要です。バージョンを確認するには、adapty --version を実行してください。

すべてのコマンドは --app にアプリのUUIDを指定する必要があります。UUIDを確認するには、次を実行してください:

adapty apps list

テストは既存のコンテンツを使用します:

  • フロー: フローは公開された状態のときのみテストに参加できます。下書きのフロー、または未公開の変更があるフローは拒否されます。フローを公開するには、adapty flows publish を実行してください。
  • ペイウォール: Adapty にすでに登録されているプロダクトからペイウォールを作成するには、adapty paywalls create を実行してください。ペイウォールに新しいデザインを適用するには、ペイウォールビルダーを使用してください。
  • プレースメント: ペイウォールのテストはペイウォールのプレースメントで実行され、フローのテストはフローのプレースメントで実行されます。プレースメントを作成するには、adapty placements create を実行してください。新しいプレースメントはアプリのコードがそのプレースメントを取得するまで何も表示されません。
  • セグメント: 一部のユーザーのみを対象にテストを実行するには、adapty segments create を使って事前にセグメントを作成してください。

これらのコマンドについては、コマンドリファレンスを参照してください。

テストの一覧表示と読み取り

list は、--type paywall を指定しない限りフローのテストを表示します。アプリのすべてのテストを確認するには、テストの種類ごとに実行してください:

adapty ab-tests list --app <app-id> --type flow --page-size 100
adapty ab-tests list --app <app-id> --type paywall --page-size 100

テストのステータスは draft、live、completed、inactive、archived のいずれかです。

バリアントを含む特定のテストを取得するには、次のコマンドを実行します:

adapty ab-tests get --app <app-id> <test-id>

get --json では、segment_ids がテストのオーディエンスを表します。[] はすべてのユーザー、null はまだオーディエンス未設定を意味します。各アームには weight とペイウォールまたはフローの ID があります。アームを識別するには paywall_title または flow_name を使用してください。アームの title は、設定しない限り空になります。

テストを作成する

新しいテストはドラフト状態で作成されます。ドラフトはどのユーザーにも表示されないため、いつでも作成・変更できます。

  1. adapty paywalls list または adapty flows list を使って、テスト対象コンテンツの ID を確認 します。

  2. 2つ以上のアームで ドラフトを作成 します。各アームはペイウォールまたはフローとウェイトの組み合わせです。ウェイトはそのアームを表示するユーザーの割合を示し、合計が100になる必要があります。

    adapty ab-tests create --app <app-id> --title "Annual vs monthly" \
      --goal "More revenue per user" --placement <placement-id> \
      --paywalls '[{"paywall_id":"<paywall-a>","weight":50},{"paywall_id":"<paywall-b>","weight":50}]'

    --placement は必須です。ペイウォールテストにはペイウォールのプレースメント、フローテストにはフローのプレースメントが必要です。フローテストの場合は、各アームに flow_id を指定した --flows を渡してください。アームには "title":"A" のように title を設定することもできます。

  3. ab-tests get でドラフトを確認します。

ドラフトのプレースメントはあくまで予定です。create には --segment または --all-users でオーディエンスの予定も指定できます。これらの予定値はユーザーには影響しません。テストを開始する際は、プレースメントとオーディエンスを改めて start に渡してください。

テストを開始する

Warning

開始は取り消せません。テストが開始した瞬間から、指定したオーディエンスのユーザーは現在のペイウォールやフローが表示されなくなります。

下書きを開始するには、プレースメントといずれか1つのオーディエンスを指定します:--all-users、または--segmentにセグメントIDを1つ指定します:

adapty ab-tests start --app <app-id> <test-id> --placement <placement-id> --segment <segment-id>

CLIは開始内容を表示し、実際に送信する前にApply? [y/N]と確認を求めます。テストがどこで実行されるかは、プレースメントのオーディエンス設定によって異なります:

  • プレースメントにそのセグメントのオーディエンスがある場合(または「すべてのユーザー」の場合):そのオーディエンスでテストが実行されます。現在そこで実行中のテストは停止し、completed 状態に移行します。
  • プレースメントにそのセグメントのオーディエンスがない場合:start によってプレースメントに最高優先度の新しいオーディエンスが追加されます。現在別のオーディエンスに一致しているこのセグメントのユーザーは、テストに移行します。

テストに別のオーディエンスより低い優先度を設定するには、まずそのセグメントをそのオーディエンスとして優先度付きで追加してください。現在そのユーザーが見ているペイウォールまたはフローを設定し、そのオーディエンスでテストを開始します。詳細はオーディエンスの優先度を変更するを参照してください。

セグメントオーディエンスへの変更がすべてのユーザーに反映されるまで、最大20分かかることがあります。

起動できるのはドラフト状態のテストのみです。テストを再度実行するには、新しいテストを作成してください:get で既存のテストを取得し、同じアームで create を使用してテストを作成します。

テストを変更する

update はテスト全体を再送信します。--placement を含むすべてのフラグを毎回指定してください。フラグを省略すると、Adapty はその値をクリアします。たとえば、ゴールや予定のオーディエンスが消えます。

adapty ab-tests update --app <app-id> <test-id> --title "Annual vs monthly, Q4" \
  --goal "More revenue per user" --placement <placement-id> \
  --paywalls '[{"paywall_id":"<paywall-a>","weight":70},{"paywall_id":"<paywall-b>","weight":30}]'

ライブテスト中の update では、タイトルとゴールのみ変更できます。アームやプレースメント、オーディエンスは get が返す値をそのまま渡してください。別のアームや別のプレースメントを指定するとリクエストが拒否されます。テストの開始時刻は変わらず、ユーザーのアーム割り当ても維持されます。完了済みまたはアーカイブ済みのテストは変更できません。

ライブテスト中にアームやウェイトを変更したい場合は、テストを置き換えてください。replace はダッシュボードの Modify 操作に相当します。

adapty ab-tests replace --app <app-id> <test-id> --title "Annual vs monthly v2" \
  --placement <placement-id> \
  --paywalls '[{"paywall_id":"<paywall-a>","weight":80},{"paywall_id":"<paywall-b>","weight":20}]'

実行中のテストは停止して completed 状態に移行し、その結果はそのIDとともに保持されます。同じオーディエンスで新しいIDを持つ新しいテストが開始され、Adapty はそのオーディエンスのすべてのユーザーを再度アームに割り当てます。--placement に別のプレースメントを指定すると、Adapty はそのオーディエンスを指定のプレースメントに移動します。「すべてのユーザー」テストは移動できません。

結果を読み取る

テストの各アームのパフォーマンスは ab-tests metrics コマンドで確認できます。いずれも --type を指定する必要があります。これは ab-tests get が返す type(paywall または flow)です。テストと一致しない type を指定するとエラーになります。

どのアームが優勢かを確認するには、テスト全体の累計データを参照します:

adapty ab-tests metrics total <test-id> --app <app-id> --type flow

各アームには、ウェイト、収益、購入数、表示回数、最良である確率(P2BB %)、およびユニーク視聴者1,000人あたりの収益の範囲が表示されます。ちょうど2つのアームを持つフローテストでは、p値も表示されます。テストを停止する前に、ここでリーダーを確認してください。

  • P2BB は、1閲覧者あたりの収益でそのアームが最良である確率(パーセント)です。すべてのアームで P2BB が 0 の場合は未計算を意味します。あるアームの P2BB が 0 で別のアームが 0 より大きい場合は、実際の 0 です。購入がないすべてのアームで同じ P2BB が表示される場合も未計算です。どのアームにもビューがない場合は結果なしとなります。
  • レンジは、ユニーク閲覧者1,000人あたりの収益の99%範囲(低・平均・高)です。アームの支払いユーザーが50人未満の場合、レンジは 0・平均値・平均値の2倍となります。支払いユーザーがいない場合は 0・0・0 です。
  • p値は、ちょうど2つのアームを持つフローテストにのみ存在します。それ以外の場合は空欄、または --json では null となります。

いくつかの同じタイプのテストを比較するには、ab-tests metrics list を使用します。期間ごとのアームを確認するには、ab-tests metrics get を使用します。get における特定期間の P2BB は、そのアームの P2BB とは異なるため、これをもとに勝者を選ばないでください。

テストを停止する

stop はテストを終了します。停止後にそのオーディエンスのユーザーに何を表示するかを選択します。以下のフラグのうち正確に1つを渡してください:

フラグ停止後の動作
--winner <id>オーディエンス全体がテストのいずれかのアームを表示します。アームのペイウォールIDまたはフローIDを渡してください。
--other <id>オーディエンス全体が、テストに含まれていなかった同種のペイウォールまたはフローを表示します。
--no-contentオーディエンスがプレースメントから外れ、そのユーザーは次にマッチするオーディエンスを取得します。「すべてのユーザー」テストでは拒否されます。
adapty ab-tests stop --app <app-id> <test-id> --winner <paywall-b>

テストは completed 状態に移行します。同じアームで再度テストするには、テストを開始するの説明に従って新しいテストを作成してください。勝者を選ぶ方法については、A/B テストの結果と指標をご覧ください。

テストをアーカイブする

ライブ中でないテストはアーカイブできます。ライブ中のテストをアーカイブするには、先に停止してください。アーカイブしたテストは復元できません。

adapty ab-tests archive --app <app-id> <test-id>

スクリプトやエージェントでの確認

start、stop、replace、archive は元に戻せないため、送信前に実行内容が表示されます。確認の方法はコマンドの実行方法によって異なります。

コマンドの実行方法動作内容
ターミナルで実行CLIは変更内容を表示し、Apply? [y/N] と確認を求めます。y または yes と答えると、CLIがリクエストを送信します。それ以外の回答では、コード1で終了し、何も送信しません。
--yes を付けて実行CLIは確認なしにリクエストを送信します。
--json を付けて実行、またはパイプ経由、もしくはターミナルなしで実行CLIは何も送信せず、コード6で終了します。エラーメッセージに変更内容が表示されます。

そのため、スクリプトやエージェントはコマンドの効果を事前に確認できます。--yes なしで実行して、メッセージを読み、承認後にはじめて --yes を付けて再実行できます。

エラー

終了コード原因対処方法
1プロンプトで y 以外を入力した。何も送信されていない。意図していた場合は、コマンドを再実行してください。
2送信前にCLIが入力を拒否した: 無効なUUID、JSON配列でないアーム、IDまたは整数のウェイトがないアーム、--paywalls と --flows の両方またはどちらも指定していない、停止オプションが2つある、などが原因。メッセージに記載されているフラグを修正してください。
3ログインしていないか、Adaptyユーザーがアプリにアクセスできない。adapty auth login でログインし、adapty apps list でアプリIDを確認してください。
4Adaptyがリクエストを拒否した。メッセージに理由が記載されている。Adaptyからのメッセージを参照してください。
5CLIがAdaptyに接続できなかった。オンライン状態を確認し、コマンドを再実行してください。
6取り消しできないコマンドが --yes なし、かつ応答者なしで実行された。何も送信されていない。メッセージに記載されている内容を確認し、--yes を付けてコマンドを再実行してください。
130プロンプトでCtrl+Cを押した。何も送信されていない。—

Adapty からのメッセージ

メッセージ対処方法
The sum of the weights must equal 100, but has N.ウェイトの合計が100になるよう変更してください。
Flow(<id>) must be published before adding to AB test.フローを公開してから、コマンドを再実行してください。
Paywalls cannot be changed in non-draft ab tests. または Placement cannot be changed in non-draft ab tests.get が返す通りにアームとプレースメントを渡すか、replace を使用してください。
AB Test from default audience can not be stopped.全ユーザーを対象とした A/B テストを停止する場合は、停止後に表示するペイウォールまたはフローが必要です。--winner または --other を使用してください。
AB Test to stop must be live.停止または置き換えができるのはライブ状態の A/B テストのみです。
Live Ab Test can not be deleted.アーカイブする前に A/B テストを停止してください。

コマンドリファレンス

すべてのコマンドは --app(adapty apps list で取得できるアプリの UUID)を必要とします。list 以外のすべてのコマンドは、テスト ID を引数として受け取ります。

ab-tests list

フラグ必須説明
--typeいいえflow(デフォルト)または paywall。
--stateいいえlive、draft、completed、inactive、または archived。
--placementいいえ指定したプレースメント(ID)のテストのみ表示。複数指定する場合はフラグを繰り返します。
--segmentいいえ指定したセグメント(ID)に対して実行されているテストのみ表示。複数指定する場合はフラグを繰り返します。
--searchいいえタイトルに指定テキストを含むテストのみ表示。
--pageいいえページ番号。デフォルト: 1。
--page-sizeいいえ1ページあたりのテスト数(最大100)。デフォルト: 20。

ab-tests get

テストとそのアームを返します。他のフラグは不要です。

ab-tests create

フラグ必須説明
--titleはいテストのタイトル。
--paywallsどちらか一方ペイウォールテストのアーム(JSON形式): [{"paywall_id":"<id>","weight":50,"title":"A"}, …]。title は省略可能。
--flowsどちらか一方フローテストのアーム(JSON形式)。paywall_id の代わりに flow_id を使用。
--goalいいえテストで検証したい内容。
--placementはいテストを実施するプレースメント(ID)。ペイウォールテストにはペイウォールのプレースメント、フローテストにはフローのプレースメントが必要。
--segmentいいえ特定のセグメント(ID)を対象にテストを計画する。--all-users と同時使用不可。
--all-usersいいえ全ユーザーを対象にテストを計画する。

ab-tests update

create と同じフラグを使用し、--placement は必須です。省略したフラグはクリアされます。実施中のテストでは、--title と --goal のみ変更できます。同じプレースメントとオーディエンスを再度渡してください。

ab-tests start

フラグ必須説明
--placementはいテストを実行するプレースメント(ID)。
--segmentどちらか一方特定のセグメントに対してテストを実行します(ID)。
--all-usersどちらか一方全ユーザーを対象にテストを実行します。
--yes, -yいいえ確認なしで開始します。--json 使用時またはパイプ経由の場合は必須です。

ab-tests stop

フラグ必須説明
--winner3つのうち1つこのアームのペイウォールまたはフロー(ID)をオーディエンス全体に表示する。
--other3つのうち1つテストに含まれていなかったペイウォールまたはフロー(ID)を表示する。
--no-content3つのうち1つプレースメントからオーディエンスを削除する。「全ユーザー」テストには使用不可。
--yes, -y不要確認なしで停止する。--json 使用時またはパイプ経由の場合は必須。

ab-tests replace

フラグ必須説明
--titleYes新しいテストのタイトル。
--placementYes新しいテストのプレースメント(ID)。別のプレースメントを指定すると、オーディエンスがそのプレースメントに移動します。
--paywalls または --flowsYescreate と同様に、新しいテストのアーム。
--goalNo新しいテストで検証したい内容。
--yes, -yNo確認なしで置き換えます。--json 使用時またはパイプ経由の場合は必須です。

新しいテストは置き換え対象のテストのオーディエンスを引き継ぐため、replace にはオーディエンスフラグがありません。

ab-tests archive

フラグ必須説明
--yes, -yいいえ確認なしでアーカイブします。--json 使用時またはパイプ経由の場合は必須。

ab-tests metrics total

テスト全期間の各アームを表示します。結果を読むを参照してください。

フラグ必須説明
--typeはいpaywall または flow(ab-tests get で表示される形式)。

ab-tests metrics list

複数のテストの累計指標を同じ種類で表示します。各テストの Total 行と各アームの行が表示されます。ペイウォールテストのアームについては、範囲の平均値のみが表示され、最小値と最大値は表示されません。テスト ID の引数は不要です。

フラグ必須説明
--typeはいpaywall または flow。
--idsはいテスト ID。カンマ区切りで指定するか、フラグを繰り返し指定します。
--csvいいえテーブルの代わりに CSV を出力します。--json と同時には使用できません。

ab-tests metrics get

指定した期間における1つのテストの指標を、ダッシュボードの結果ページと同様に、バリアントとその配下のアクセスレベルとともに表示します。ペイウォールのテストには --date-from、--date-to、--date-type が必要です。フローのテストは日付を指定しない場合、期間全体の累計値を返します。

ペイウォールテストにおける期間の P2BB は、期間開始時からの累計値であるため、ビューがない日もその値を保持し続けます。フローテストの場合は、その期間の値となります。

フラグ必須説明
--type必須paywall または flow。
--date-fromペイウォールテストの場合期間の開始日(当日を含む)(YYYY-MM-DD)。
--date-toペイウォールテストの場合期間の終了日(当日を含む)(YYYY-MM-DD)。
--date-typeペイウォールテストの場合期間を適用する日付の種類:purchase_date または profile_install_date。ビュー数は表示日でカウントされるため、どちらを選択しても同じ結果になります。
--granularity不要期間を分割する単位:day、week、month、quarter、または year。
--group-by不要各アームを country または store で分割します。指定しない場合、各アームはプロダクト別に分割されます。
--filter不要指定したフィルターキーの値に一致するデータのみを保持します。形式は key=value。繰り返し指定できます。キーと値は ab-tests metrics values から取得し、flows metrics get と同様に機能します。
--timezone不要期間のポイントに使用する IANA タイムゾーン(例:Europe/Berlin)。指定しない場合、Adapty はアプリのタイムゾーンを使用します。
--depth不要ツリーの表示階層数。デフォルト:1。--json および --csv は常にツリー全体を出力します。
--csv不要テーブルの代わりに CSV を出力します。--json との併用はできません。

ab-tests metrics values

ab-tests metrics get --filter が受け取るフィルターキーと値の一覧を表示します。出力形式は flows metrics values と同じです。

フラグ必須説明
--typeはいpaywall または flow。

次のステップ