A/B テストの作成・実行・停止

この記事では、Adapty における A/B テストのライフサイクル全体(テストの作成・実行・結果確認のための停止)を解説します。

前提条件

A/B テストを設定する前に、以下が必要です:

Warning

Adapty Flow & ペイウォールビルダーまたは旧 Adapty ペイウォールビルダーを使用していない場合は、.logShowFlow()(iOS SDK v4+)/ .logShowPaywall()を使ってペイウォールのビュー情報をAdaptyに送信してください。このメソッドを使用しないと、Adaptyはテスト内のペイウォールビュー数を計算できず、コンバージョン統計が不正確になります。

Info

Adapty の A/B テストは 2 ステップで進みます。まずテストを作成して下書きとして保存します。この時点ではすぐには公開されません。準備ができたら、別途実行します。これにより、ユーザーに表示される前に設定内容を確認できます。

A/B テストを作成する

新しい A/B テストを作成する際は、フローペイウォールオンボーディングを少なくとも 2 つ含める必要があります。

新しい A/B テストを作成するには:

  1. Adapty のメインメニューから A/B tests に移動します。

    go-to-abtests.webp
  2. 右上の Create A/B test をクリックします。

    create-abtest.webp
  3. Create the A/B test ウィンドウで Test name を入力します。これは必須項目です。結果を確認する際に識別しやすいよう、テストの内容を明確に表す名前を選んでください。

  4. Test goal に達成したい目標(例:サブスクリプションの増加やチャーンの削減)を記入します。

  5. Select placement をクリックして、フロー・ペイウォール・オンボーディングのプレースメントを選択します。

  6. Variants テーブルでテストの内容を設定します。各行がバリアント、各列がプレースメントになります。各交点にペイウォールを追加します。

デフォルトでは、テーブルには2つのバリアントと1つのプレースメントがあります。バリアントは最大20個まで追加できます。2つ目のプレースメントを追加すると、テストはクロスプレースメントA/B テストになります。クロスプレースメントテストのすべてのプレースメントは、フローまたはペイウォールという同じ種類でなければなりません。

各バリアントには名前を付けることができ、その名前はA/B テストのリストとテストの指標に表示されます。バリアントの行の最初の列に名前を入力してください。フィールドを空白のままにすると、Adaptyはそのバリアントを位置で自動的にラベル付けします(Variant AVariant Bなど)。

名前は最大255文字で、1つのテスト内で2つのバリアントが同じ名前を共有することはできません。テスト開始後にバリアントの名前を変更することはできません。実行中のテストでバリアント名を変更するには、A/B テストを編集する で説明している Modify を使用してください。

abtest-variants.webp
  1. テストを保存します。2 つの選択肢があります:
    1. Save as draft:テストはすぐに公開されません。後でプレースメントまたは A/B テストリストから起動できます。公開前に設定を確認したい場合に使用してください。
    2. Run A/B test:テストをすぐに起動します。このボタンをクリックした瞬間にテストが公開されます。

下書きとして保存した後は、A/B テストを実行するに進んでください。

A/B テストを編集する

A/B テストは下書きとして保存されている場合にのみ編集できます。テストが公開された後は変更できません。公開中のテストを更新するには、Modify オプションを使用します。これにより同じ名前の複製が作成され、そこで変更を加えることができます。Adapty は元のテストを停止し、元のバージョンと修正バージョンがどちらも分析画面に別々に表示されます。

A/B テストを実行する

Adapty で A/B テストを実行するとは、プレースメントに割り当ててユーザーへのペイウォールやオンボーディングの表示を開始することを意味します。

  1. Adapty のメインメニューから A/B tests セクションに移動します。

  2. 正しいリストを表示していることを確認してください。PaywallFlowOnboardingsCrossplacement の A/B テストは、切り替え可能な別々のタブに表示されます。

    ab-tests-tabs.webp
  3. Drafts タブに切り替えます。起動できるのは下書きのテストのみです。

  4. 起動したいテストの横にある Run A/B test をクリックします。

    run-ab-test-2.webp
  5. Edit A/B test ウィンドウが開きます。設定を確認し、必要な最終変更を行います。プレースメントやオーディエンスが未設定の場合は、ここで追加してください。

  6. 設定を確認したら、Run A/B test をクリックして開始します。

テストを起動した後は、A/B テストの結果と指標ページで進捗を追跡し、パフォーマンスデータを確認できます。

A/B テストを停止する

A/B テストを停止すると、テストが終了し結果を確認できます。また、テスト終了後に対象プレースメントでユーザーに何を表示するかを決定します。

stop-ab-test.webp
  1. A/B tests セクションを開き、Live タブに移動します。

  2. 停止したいテストの横にある 3 点メニューをクリックし、Stop A/B test を選択します。

  3. Stop the A/B test ウィンドウで、テスト終了後の動作を決定します。3 つの選択肢があります:

オプション説明
テスト済みのフロー/ペイウォール/オンボーディングのいずれかを表示する収益、最良確率(P2BB)、1Kユーザーあたりの収益などのテスト結果をもとに、勝者となるフロー、ペイウォール、またはオンボーディングを選択します。選択したプレースメントとオーディエンスに対して表示されます。クロスプレースメントテストの場合は、プレースメントごとに個別に勝者を選択します。
A/B テストに参加していないフロー/ペイウォール/オンボーディングを選択する現在の A/B テストに含まれていない任意のフロー、ペイウォール、またはオンボーディングを選択します。テストしたバリアントがいずれも目標を達成しなかった場合に使用します。
特定のフロー/ペイウォール/オンボーディングを表示しない選択したプレースメントとオーディエンスに対して、A/B テスト終了後に特定のフロー、ペイウォール、またはオンボーディングは選択されません。代わりに、オーディエンスの優先順位に基づいて次に利用可能なものが表示されます。手動で選択せずに既存の設定に表示内容を任せたい場合に適した選択肢です。
Note

A/B テストの停止は取り消しできません。テストを再起動することはできないため、停止を決定する前に十分なデータが集まっていることを確認してください。

  1. Stop and complete this A/B test ボタンをクリックします。

A/B テストが終了すると、テストはアクティブでなくなり、テスト内のペイウォールまたはオンボーディングは新しいユーザーに表示されなくなります。

テスト実行中に参加したユーザーのパフォーマンスを確認するために、A/B テストの指標ページで引き続き A/B テストの結果と指標にアクセスできます。それらのユーザーに新たな購入や収益イベントが紐付けられると、指標は引き続き更新される場合があります。