创建、运行和停止 A/B 测试

本文介绍 Adapty 中 A/B 测试的完整生命周期：创建测试、运行测试，以及在准备好查看结果时停止测试。

前提条件

在设置 A/B 测试之前，您必须具备：

如果您未使用 Adapty 付费墙编辑工具，请通过 .logShowPaywall() 将付费墙展示事件发送至 Adapty。没有此方法，Adapty 将无法统计测试中的付费墙展示次数，导致转化数据不准确。

Adapty 中的 A/B 测试采用两步流程。您首先创建测试并将其保存为草稿——它不会立即生效。当您准备好时，再单独运行它。这样您可以在用户看到之前检查设置。

创建 A/B 测试

创建新的 A/B 测试时，您需要至少包含两个付费墙或用户引导，具体取决于您的测试类型。

要创建新的 A/B 测试：

  1. 从 Adapty 主菜单进入 A/B tests。

    go-to-abtests.png

  2. 在右上角，点击 Create A/B test。

    create-abtest.png

  3. 在 Create the A/B test 窗口中，输入 Test name。此项为必填。选择一个能清楚描述测试内容的名称，以便在查看结果时识别。

  4. 填写 Test goal 以描述您想实现的目标（例如，提高订阅量或降低流失率）。

  5. 点击 Select placement，为常规 A/B 测试选择付费墙版位，或为用户引导 A/B 测试选择用户引导版位。

  6. 在 Variants 表格中设置测试内容。每行是一个实验变体，每列是一个版位。在每个交叉点添加一个付费墙。

    默认情况下，表格有 2 个实验变体和 1 个版位。您可以添加最多 20 个实验变体和多个版位。一旦添加第二个版位，测试将变为跨版位 A/B 测试。

    abtest-variants.png

    说明：

    1重命名实验变体以使其更具描述性。
    2更改实验变体的权重。所有实验变体的总权重必须等于 100%。
    3根据需要添加更多实验变体。
    4根据需要添加更多版位。
    5为每个实验变体的版位添加要展示的付费墙或用户引导。

  7. 保存您的测试。您有两个选项：

    1. Save as draft：测试不会立即生效。您可以稍后从版位或 A/B 测试列表启动它。在启动前使用此选项来检查设置。
    2. Run A/B test：立即启动测试。点击此按钮后测试即刻生效。

保存为草稿后，继续运行 A/B 测试。

编辑 A/B 测试

您只能编辑已保存为草稿的 A/B 测试。一旦测试生效，就无法更改。要更新正在运行的测试，请使用 Modify 选项——这会创建一个同名副本，您可以在其中进行更改。Adapty 会停止原始测试，原始版本和修改版本将分别出现在您的数据分析中。

运行 A/B 测试

在 Adapty 中运行 A/B 测试意味着将其分配给一个版位，以便它可以开始向用户展示付费墙和用户引导。

  1. 从 Adapty 主菜单进入 A/B tests 部分。

  2. 确保您查看的是正确的列表——Regular、Onboardings 和 Crossplacement A/B 测试分别显示在不同的标签页中，您可以在它们之间切换。

    run-ab-test.png

  3. 切换到 Drafts 标签页。只有草稿状态的测试才能启动。

  4. 在要启动的测试旁边，点击 Run A/B test。

    run-ab-test-2.png

  5. Edit A/B test 窗口打开。检查设置并进行最终更改。如果版位或目标受众缺失，请立即添加。

  6. 检查设置后，点击 Run A/B test 开始。

启动测试后，您可以在 A/B 测试结果与数据图表页面上跟踪进度并查看性能数据。

停止 A/B 测试

当您停止 A/B 测试时，测试结束，您可以查看结果。您还需要决定测试结束后在受影响的版位中向用户展示什么内容。

stop-ab-test.png

  1. 打开 A/B tests 部分，进入 Live 标签页。

  2. 在要停止的测试旁边，点击三点菜单，然后选择 Stop A/B test。

  3. 在 Stop the A/B test 窗口中，决定测试结束后应该发生什么。您有三个选项：

    选项描述
    Display one of the tested paywalls/onboardings根据收入、最佳概率（P2BB）和每千用户收入等测试结果选择获胜的付费墙或用户引导。该付费墙或用户引导将显示在所选版位和目标受众中。
    Select paywalls/onboardings that don’t participate in A/B test选择不属于当前 A/B 测试的任何付费墙或用户引导。当被测实验变体均未达到您的目标时使用此选项。
    Don’t show any specific paywall/onboarding对于所选版位和目标受众，A/B 测试结束后不会选择特定的付费墙或用户引导。而是根据目标受众优先级显示下一个可用的付费墙或用户引导。如果您希望让现有设置决定显示哪个付费墙或用户引导而不是手动选择，这是一个好选择。

停止 A/B 测试是不可逆的——测试无法重新启动。在决定停止之前，请确保已收集了足够的数据。

  1. 点击 Stop and complete this A/B test 按钮。

A/B 测试完成后，它将不再处于活动状态，其中的付费墙或用户引导也将不再向新用户展示。

您仍然可以在 A/B 测试数据图表页面上查看 A/B 测试结果和数据图表，以回顾测试运行期间参与用户的表现。随着新的购买或收入事件被归因到这些用户，数据图表可能会继续更新。