A/B 测试类型
Adapty 提供两种 A/B 测试类型,分别适用于不同的测试场景:
- 常规 A/B 测试: 针对单个流程/付费墙/用户引导版位创建的 A/B 测试。
- 跨版位 A/B 测试: 针对应用中多个流程或付费墙版位创建的 A/B 测试。A/B 测试一旦分配了 实验变体 A/B 测试实验变体是流程、付费墙或用户引导的不同版本,用于对比测试效果。 ,该实验变体将在所有已选区域中保持一致展示。
每个流程/付费墙/用户引导都有一个权重,用于在测试期间分配流量。
例如,权重分别为 70% 和 30% 时,第一个付费墙大约展示给 1,000 名用户中的 700 人,第二个展示给约 300 人。在跨版位测试中,权重按实验变体设置,而非按流程或付费墙设置。
这套配置让你能够比较不同的流程和付费墙,从而为应用的变现策略做出基于数据的决策。
何时使用各类型
每种 A/B 测试类型的适用场景如下:
- 常规 A/B 测试:
- 应用中只有一个版位。
- 只想在某一个版位运行 A/B 测试,仅追踪该版位的收益变化,即使应用有多个版位也如此。
- 想对老用户(已至少看过一次 Adapty 付费墙的用户)运行 A/B 测试。
- 跨版位 A/B 测试:
- 想跨多个版位同步实验变体。例如,同时修改用户引导流程和应用设置页中的价格。
- 想评估整体应用的商业模型。在所有版位上运行测试,比只测试单个版位更便于分析 A/B 测试数据。
- 只想对新用户(从未看过任何 Adapty 付费墙的用户)运行 A/B 测试。
- 想在单个实验变体中使用多个流程或付费墙:
主要区别
| 功能 | 常规 A/B 测试 | 跨版位 A/B 测试 |
|---|---|---|
| 测试对象 | 单个流程/付费墙/用户引导 | 属于同一实验变体的一组流程或付费墙 |
| 实验变体一致性 | 每个版位单独确定实验变体 | 测试中所有版位使用相同的实验变体 |
| 目标受众定向 | 按每个流程/付费墙/用户引导版位定义 | 在测试中所有版位共享 |
| 数据分析 | 分析单个流程/付费墙/用户引导版位 | 分析属于测试范围内所有版位的整体应用表现 |
| 实验变体流量分配 | 按每个流程/付费墙/用户引导 | 按一组流程或付费墙 |
| 适用用户 | 全部用户 | 仅限新用户(未曾看到 Adapty 付费墙的用户) |
| Adapty SDK 版本 | 流程:v4.0.0+;付费墙:任意版本;用户引导:v3.8.0+(iOS、Android、React Native、Flutter),v3.14.0+(Unity),v3.15.0+(KMP、Capacitor) | 流程:4.0.0+;付费墙:3.5.0+ |
| 最适合 | 在单个流程/付费墙/用户引导版位中测试独立变更,无需考虑整体应用经济效益 | 评估全应用范围的整体变现策略 |
A/B 测试选择逻辑
跨版位 A/B 测试的优先级高于普通 A/B 测试。 但跨版位测试仅对新用户开放——即那些尚未看过任何 Adapty 流程或付费墙的用户(应用从未为其调用过 getFlow 或 getPaywall)。这样可以确保跨版位结果的一致性。
下图展示了 Adapty 为版位选择 A/B 测试的逻辑:
在 A/B Tests 页面中,流程、付费墙和用户引导的测试分别显示在各自的标签页中。跨版位测试有两个专属标签页:Crossplacement (Flows) 和 Crossplacement (Paywalls)。
跨版位 A/B 测试的限制
跨版位 A/B 测试不能包含用户引导版位。同一个测试不能混用流程版位和付费墙版位。
跨版位 A/B 测试确保每位用户在测试中的所有版位都看到相同的实验变体。这带来了以下限制:
-
只有新用户才能参与。新用户是指从未看过 Adapty 流程或付费墙、且其 App 从未调用过
getFlow或getPaywall的用户。Adapty 无法为其他用户保证一致的流程或付费墙链路。 -
用户遇到的第一个版位决定了 Adapty 展示哪个流程或付费墙。你无法更改用户的分配,也无法将同一用户注册到多个跨版位 A/B 测试中。
-
设备只有在应用变为活跃状态时,才会获悉在其他地方(例如用户的其他设备上)所做的跨版位分配,且最多每 60 秒同步一次。此同步无法强制触发,因此一次分配最多需要一分钟,或等到下次应用进入前台时,才能同步到长时间运行的会话中。
一旦用户收到跨版位的流程或付费墙,他们将在 90 天内持续看到它,即使你已停止测试。如需更改此时长,请在 General 设置中调整 Cross-placement variation stickiness。
跨版位 A/B 测试优先级
-
跨版位 A/B 测试始终优先于常规 A/B 测试和用户引导 A/B 测试。如果新用户同时符合跨版位测试和同一版位的常规测试条件,系统将展示跨版位测试。
-
当多个面向相同目标受众的跨版位 A/B 测试共享同一版位时,Adapty 会根据测试的添加顺序自动分配优先级,最先添加的测试优先级最高,且无法手动调整。
-
针对较小目标受众群体的测试会自动优先于针对所有用户群体的测试。
在 Analytics 中,跨版位 A/B 测试会显示为多个子测试,每个版位对应一个。子测试的命名格式为 <test-name> child-0、<test-name> child-1,以此类推。编号与 A/B 测试详情页面上的版位顺序一致。如需查看特定版位的结果,请按 Placement 筛选。
下一步
- 创建、运行和停止 A/B 测试 — 设置并启动您的第一个测试
- A/B 测试结果与数据图表 — 分析性能并选出优胜方案