Adapty Mail の A/B テスト
Adapty Mail の A/B テストは、2 つ以上のメールキャンペーン全体を比較します。各バリアントは独立した完全なキャンペーンです。ユーザーがフロー内のテストのセグメントに一致すると、Adapty Mail は設定されたウェイトに基づいていずれかのバリアントにルーティングし、バリアントごとの配信数・エンゲージメント・収益を追跡します。
バリアントとは
各バリアントは完全なキャンペーンです。コピー、ヒーロー画像、トーン、シーケンスの長さ、メール間の送信タイミングなど、キャンペーンで変更できるものならすべて異なる設定にできます。A/B テスト自体にこれらの設定項目が直接あるわけではなく、それぞれのキャンペーンを個別に作成してバリアントとして追加します。
A/B テストを作成する
- まず Campaigns でキャンペーンを作成します。各バリアントにそれぞれのキャンペーンが必要です。
- Adapty Mail で A/B Tests に移動し、Create をクリックします。
- 各キャンペーンをバリアントとして追加し、ウェイトを設定します。ウェイトの合計は 100% になる必要があります。
- テストを適用するユーザーを制御するためのセグメントを割り当てます。
- 保存します。
テストは draft(下書き) として保存され、この時点ではまだ何も送信されません。公開するにはフローに追加する必要があります。
フローから起動する
A/B テストは A/B Tests ページからは起動できません。起動と終了はどちらもフローの行内で行います。
- Adapty Mail で Flows に移動し、テストを実行したいトリガーを開きます。
- 新しい行の Create をクリックします。ダイアログで Content type を A/B Test に設定し、保存したテストを選んで Save をクリックします。
- 行上で Launch A/B test をクリックします。
テストのステータスが draft から live に移行し、セグメントに一致する新規ユーザーへのバリアントルーティングが始まります。フローの行について詳しくはフローを作成するを参照してください。
ルーティングの仕組み
ユーザーがフローのトリガーに到達し、A/B テストのセグメントに一致すると、Adapty Mail は加重ランダム選択を使ってバリアントを決定します。各バリアントのウェイトが抽選のシェアを決めます。ルーティングはユーザー単位で決定論的ではありません。
結果を確認する
A/B Tests ページでは、各バリアントの生の集計数値と導出されたレートが表示されます:
- Delivery(配信): Sends(送信数)、Deliveries(到達数)、Bounces(バウンス数)
- Engagement(エンゲージメント): Opens(開封数)、Clicks(クリック数)、Unsubs(配信停止数)
- Revenue(収益): Purchases(購入数)、Revenue(収益)
各指標の計測方法や収益のアトリビューションについては、キャンペーン分析を参照してください。
テストを終了する
起動と同様に、終了も A/B Tests ページではなくフローの行から行います。
- テストが実行中のフローの行を開きます。
- Finish A/B test をクリックします。
- Finish A/B test ダイアログで、Replace with campaign ドロップダウンから勝者キャンペーンを選択します。空のままにするとセグメントをフローから完全に削除します。
- 確認します。
いずれかのバリアント(勝者・敗者問わず)のシーケンス途中にいるユーザーは、引き続きスケジュールされたメールを受け取ります。勝者に切り替わることはありません。
ライフサイクル
A/B テストは 4 つのステータスを経由します:
- Draft(下書き): 作成済み、まだライブのフロー行に追加されていない。
- Live(公開中): 追加・起動済みで、入力ユーザーをルーティング中。
- Finished(終了): Finish A/B test によって停止済み。
- Archived(アーカイブ): リストからソフト削除済み。