Adapty Ads ManagerにおけるCPP A/Bテスト
CPP A/B テストを使うと、Apple Ads 内でカスタムプロダクトページ(CPP)同士を比較できます。2〜4ページのプロダクトページを選択すると、Adapty Ads Manager がトラフィックをローテーションしてパフォーマンスデータを収集し、どのページが最もコンバージョンしやすいかを教えてくれます。 デフォルトのプロダクトページをバリアントのひとつとして含めることができるので、カスタムページが現在のデフォルトよりも優れたパフォーマンスを発揮するかどうかをテストできます。
前提条件
CPP A/B テストを作成する前に、以下を確認してください:
- Apple Ads Manager が接続されていること:まだ接続していない場合は、セットアップガイドに従ってください。
- テスト対象の広告グループにトラフィックがあること:テストする広告グループは少なくとも28日以上稼働しており、その期間中にインプレッション、タップ、インストールの実績がある必要があります。Apple Ads Managerはこの履歴を使用して、テスト期間と必要なサンプルサイズを推定します。
- 少なくとも1つのカスタムプロダクトページがあること:まずApp Store ConnectでCPPを作成してください。Apple Ads Managerは自動的にそれらを読み込みます。
CPP A/B テストを作成する
テストを作成するには、左のサイドバーで CPP A/B Tests に移動し、Create A/B Tests をクリックします。
ウィザードには4つのステップがあります:Ad Group(s)、Ad Creative(s)、Testing Method、Review。
1. Ad Group(s)
Test Name を入力し、Select Ad Group をクリックしてテストしたいCPPを持つ広告グループを選択します。同じキャンペーンから最大4つの広告グループを選択できますが、これは1つの広告クリエイティブを複数の広告グループでテストする場合のみです。複数のCPPを比較するには、1つの広告グループを選択してください。
2. Ad Creative(s)
比較するCPPを選択します。Default Product Page(Control としてマーク)と最大3つのCustom Product Pagesを合わせて、合計2〜4つのバリアントを含めることができます。
- Default Product Page:+ Add Default をクリックして、既存のデフォルトプロダクトページをコントロールバリアントとして追加します。
- Custom Product Pages:+ Select CPP をクリックして、App Store Connectからカスタムプロダクトページを選択します。
3. テスト方法
テストの実行方法を設定します。Adapty Ads Manager はテスト予測期間、開始時間、終了時間を自動的に計算します。以下の3つの設定を変更すると、値が自動的に更新されます。
切り替え時間プリセット
システムがバリアントを切り替える頻度を設定します。トラフィックレベルに対して高すぎる値を選択した場合、システムが自動的に低い値に変更します。
| インターバル | 典型的なトラフィックレベル | スロット期間 | 典型的なテスト期間 |
|---|---|---|---|
| 毎時 | 高(1日5,000インプレッション以上) | 7時間 | 数日 |
| 毎日 | 通常 | 24時間 | 数週間 |
| 毎週 | 低(1日400インプレッション未満) | 7日 | 数ヶ月 |
スロットとは、システムが次のバリアントへの切り替えを検討するまで、バリアントが実行される基本時間のことです。
希望する精度
テストが確実に検出できるコンバージョン率の最小差異です。選択肢は 1%、2%、3%、4%、5% で、デフォルトは 5% です。精度 1% のテストは小さな差異も検出できますが、より多くのデータが必要で実行期間も長くなります。精度 5% のテストは早く終わりますが、大きな差異しか検出できません。
| 精度 | 使用するタイミング |
|---|---|
| 1〜2% | CPP間の差が小さいと予想され、トラフィックの多い広告グループがある場合。 |
| 3〜4% | ほとんどのテストに適したバランスのよいデフォルト値。 |
| 5% | 明確な勝者が見込まれ、早く結果を得たい場合。 |
信頼水準
結果がランダムなノイズではなく実際のものであると、どの程度確信したいかを指定します。オプション: 80%、85%、90%、95%、99%。デフォルト: 90%。信頼水準を高くするほど、より多くのデータが必要になります。
| 信頼度 | トレードオフ |
|---|---|
| 80–85% | 早く結論が出るが、結果がノイズである可能性が高い。 |
| 90% | ほとんどのテストで推奨されるデフォルト値。 |
| 95–99% | 最も保守的。最多のデータと最長のテスト期間が必要。 |
4. Review
概要(選択した広告グループ、クリエイティブ、テスト方法、期間、精度、信頼度)を確認し、Start CPP A/B Tests をクリックします。
テストを開始すると、システムはバリアントごとに広告グループを複製し、最初のバリアントをアクティブにします。テストのステータスは数分以内に Running に移行します。
実行中のテストを監視する
テスト一覧を開くには、左サイドバーの CPP A/B Tests をクリックします。ページ上部の4つのタブで、状態ごとにテストをフィルタリングできます。
- Live: 現在実行中のテスト。
- Completed: 完了したテスト。
- Draft: まだ開始されていないテスト。
- Archive: メインビューに表示する必要がなくなった古いテスト。
各テストカードには、テスト名、ステータス、切り替え間隔、目標精度、実行時間が表示されます。View metrics をクリックすると、バリアントテーブルが展開されます。
バリアントのパフォーマンス
バリアントテーブルは、テスト内のすべてのバリアントのパフォーマンスを比較します。
| カラム | 説明 |
|---|---|
| Variant Name | テスト対象のCPP。バリアントAは常に最初に追加したバリアントです。 |
| Confidence Level | 必要なサンプルサイズに対する達成率(0〜100%)。 |
| Impressions | Appleがこのバリアントの広告を表示した回数。 |
| TTR | タップスルー率:インプレッション数に対するタップ数の割合。 |
| Tap → Download CR | タップからダウンロードへのコンバージョン率。 |
| CPT | タップあたりの平均コスト。 |
| Avg CPA (Tap-Through) | タップスルーによるダウンロードに基づく獲得あたりの平均コスト。 |
| Spend | このバリアントに帰属する総支出額。 |
| Revenue | このバリアントに帰属する総収益。 |
| ROAS | 広告費用対効果:支出額に対する収益の割合。 |
| 各バリアントのインプレッション数が同程度になるまで、Adapty Ads Manager は勝者を強調表示しません。データ収集中は、テーブルの上部に次のバナーが表示されます:Winner highlighting is paused — variants don’t have comparable impressions yet. |
詳細な指標
テストをさらに詳しく確認するには、View metrics をクリックして詳細指標ページを開きます。コホートのリテンションカーブ、ARPPUの比較、そして2つのセクションに分類された指標テーブルが含まれています。
- Top of funnel · Apple Search Ads: バリアントごとのTTR、ダウンロード率、CPM、CPT、平均CPA。
- Bottom of funnel · Monetization: バリアントごとの有料ユーザー数、有料CR、有料ユーザー獲得単価、ARPPU、収益、ROAS。 Winner 列には、各指標でリードしているバリアントが表示されます。バリアントが総合的な勝者として認定されるのは、主要指標でリードし、かつ信頼水準が 95% 以上に達した場合のみです。
指標の定義については、Adapty Ads Manager の指標をご覧ください。
テストを停止する
テストはいつでも停止できます。テストは Stopped としてマークされ、元の広告グループが復元され、複製された広告グループは一時停止されます。
実行中のテストを停止するには:
- 左のサイドバーで CPP A/B Tests に移動します。
- テストカードの Stop A/B test をクリックするか、テストを開いて Stop Test をクリックします。
- Stop A/B Test? ダイアログで確認します。
テストの停止は最終的な操作です。再開することはできません。これまでに収集された結果は Completed タブで引き続き確認できます。
テストのステータス
すべてのテストは、決まった一連のステータスを順に経由します:
| ステータス | 意味 |
|---|---|
| Draft | テストは作成済みですが、まだ開始されていません。引き続き編集できます。 |
| Starting | セットアップ中 — システムが広告グループを複製し、広告を作成しています。 |
| Running | テストは稼働中です。バリアントがローテーションされ、指標が収集されます。 |
| Completed | 設定した期間が終了したか、信頼度に達しました。元の広告グループが復元されます。 |
| Stopped | テストを手動で停止しました。元の広告グループが復元されます。 |
| Failed | セットアップに失敗したか、連続エラーが多すぎます。失敗したテストは再起動できます。 |
仕組み
Adapty Ads Manager は Ad Group Switch という手法を使用しています。
- テストが開始されると、システムはソース広告グループをバリアントごとに1回ずつ複製します。各クローンは異なるCPP(デフォルトページを使用できるものも含む)を指定します。
- 同時に実行されるクローンは1つだけです。システムは固定スケジュール(毎時、毎日、または毎週)に従って、どのクローンをアクティブにするかをローテーションします。
- テスト実行中は元の広告グループが一時停止されます。テスト終了時に以前の状態に復元されます。
- Adapty Ads Managerはバリアントごとのインプレッション数、タップ数、ダウンロード数を収集し、各バリアントが統計的に有意なサンプル数にどれだけ近づいているかを追跡します。
- 各バリアントに十分なデータが集まった時点、またはスケジュールされた期間に達した時点で、テストは自動的に終了します。
テスト実行中に何が起こるか
実行中のテストがダッシュボード上でどのように動作するかについて、いくつか知っておくべきことがあります。
- バリアントは固定のタイマーで切り替わるわけではありません: 切り替え間隔はあくまで基準値であり、Adapty Ads Manager は各バリアントが公平なインプレッション数を確保できるようタイミングを調整します。インプレッションが不足している場合、バリアントは1スロットより長く有効な状態を維持することがあります。
- 終了時刻は繰り延べされる場合があります: 予定終了時刻が近づいた時点でデータが不足している場合、タップ数の収集を続けるためにテストが自動的に延長されます。新しい終了時刻はテストカードに表示されます。
- テスト終了時、元の広告グループが復元されます: クローンされたすべての広告グループは一時停止され、ソースの広告グループはテスト開始前の状態に戻ります。結果は Completed タブで引き続き確認できます。