Adapty Mail の A/B テスト

Adapty Mail の A/B テストは、2 つ以上のメールキャンペーン全体を比較します。各バリアントは独立した完全なキャンペーンです。ユーザーがフロー内のテストのセグメントに一致すると、Adapty Mail は設定されたウェイトに基づいていずれかのバリアントにルーティングし、バリアントごとの配信数・エンゲージメント・収益を追跡します。

バリアントとは

各バリアントは完全なキャンペーンです。コピー、ヒーロー画像、トーン、シーケンスの長さ、メール間の送信タイミングなど、キャンペーンで変更できるものならすべて異なる設定にできます。A/B テスト自体にこれらの設定項目が直接あるわけではなく、それぞれのキャンペーンを個別に作成してバリアントとして追加します。

A/B テストを作成する

  1. まず Campaigns でキャンペーンを作成します。各バリアントにそれぞれのキャンペーンが必要です。
  2. Adapty Mail で A/B Tests に移動し、Create をクリックします。
  3. 各キャンペーンをバリアントとして追加し、ウェイトを設定します。ウェイトの合計は 100% になる必要があります。
  4. テストを適用するユーザーを制御するためのセグメントを割り当てます。
  5. 保存します。

テストは draft(下書き) として保存され、この時点ではまだ何も送信されません。公開するにはフローに追加する必要があります。

バリアント、ウェイト、セグメント選択が表示された A/B テスト作成フォーム

フローから起動する

A/B テストは A/B Tests ページからは起動できません。起動と終了はどちらもフローの行内で行います。

  1. Adapty Mail で Flows に移動し、テストを実行したいトリガーを開きます。
  2. 新しい行の Create をクリックします。ダイアログで Content typeA/B Test に設定し、保存したテストを選んで Save をクリックします。
  3. 行上で Launch A/B test をクリックします。

テストのステータスが draft から live に移行し、セグメントに一致する新規ユーザーへのバリアントルーティングが始まります。フローの行について詳しくはフローを作成するを参照してください。

バリアント、ウェイト、セグメント選択が表示された A/B テスト作成フォーム

ルーティングの仕組み

ユーザーがフローのトリガーに到達し、A/B テストのセグメントに一致すると、Adapty Mail は加重ランダム選択を使ってバリアントを決定します。各バリアントのウェイトが抽選のシェアを決めます。ルーティングはユーザー単位で決定論的ではありません。

結果を確認する

A/B Tests ページでは、各バリアントの生の集計数値と導出されたレートが表示されます:

  • Delivery(配信): Sends(送信数)、Deliveries(到達数)、Bounces(バウンス数)
  • Engagement(エンゲージメント): Opens(開封数)、Clicks(クリック数)、Unsubs(配信停止数)
  • Revenue(収益): Purchases(購入数)、Revenue(収益)

各指標の計測方法や収益のアトリビューションについては、キャンペーン分析を参照してください。

バリアントごとの指標を並べて表示した A/B テスト結果

テストを終了する

起動と同様に、終了も A/B Tests ページではなくフローの行から行います。

  1. テストが実行中のフローの行を開きます。
  2. Finish A/B test をクリックします。
  3. Finish A/B test ダイアログで、Replace with campaign ドロップダウンから勝者キャンペーンを選択します。空のままにするとセグメントをフローから完全に削除します。
  4. 確認します。

いずれかのバリアント(勝者・敗者問わず)のシーケンス途中にいるユーザーは、引き続きスケジュールされたメールを受け取ります。勝者に切り替わることはありません。

バリアントごとの指標を並べて表示した A/B テスト結果

ライフサイクル

A/B テストは 4 つのステータスを経由します:

  • Draft(下書き): 作成済み、まだライブのフロー行に追加されていない。
  • Live(公開中): 追加・起動済みで、入力ユーザーをルーティング中。
  • Finished(終了): Finish A/B test によって停止済み。
  • Archived(アーカイブ): リストからソフト削除済み。