A/B 测试中的趋势预测

欢迎阅读 Adapty A/B 测试功能的预测分析文档。该工具将为您正在运行的 A/B 测试提供未来结果洞察，并帮助您借助 Adapty 的机器学习驱动趋势预测，更快速地做出数据驱动决策 🚀。

A/B 测试趋势预测是什么？

Adapty 的 A/B 测试趋势预测采用先进的机器学习技术（特别是梯度提升模型），对 A/B 测试中所比较付费墙的长期收入潜力进行预测。

该预测模型使您能够根据一年后的预计收入来选择最有效的付费墙，而不仅仅依赖于测试运行期间观察到的数据图表。这样一来，您可以更可靠、更快速地确定获胜者，无需等待数周时间积累数据。

模型是如何工作的？

该模型基于来自不同类别应用的大量历史 A/B 测试数据进行训练，并整合了多维度特征，用于预测付费墙在实验开始后一年内可能产生的收入。这些特征包括：

• 不同时间段内的用户交易情况与转化率
• 用户的地理分布
• 平台使用情况（iOS 或 Android）
• 退出率和退款率
• 订阅产品及其订阅周期长度（日、月、年等）
• 其他与交易相关的数据

该模型还会考虑付费墙中的试用期，使用历史转化率来预测收入，就如同用户已完成转化一样。这确保了有试用优惠和无试用优惠的付费墙之间的公平比较，因为我们也会将正在进行的试用期可能带来的未来收入纳入计算。

预测 P2BB 与普通 P2BB 有何不同？

我们的 A/B 测试采用贝叶斯方法：简单来说，我们对每位用户的收入分布（具体为”每 1000 用户收入”）进行建模，然后计算一个分布”真正”优于另一个分布（而非随机偶然）的概率——这就是我们所说的”成为最优方案的概率”（P2BB）。如需了解更多，请参阅此处。

需要注意的是，在此过程中，我们仅依赖测试运行期间累积的收入数据。因此，如果您要运行一个对比年度订阅与周订阅的测试，则需要等待相当长的时间才能真正了解哪种方案表现更好。当您在 A/B 测试中对比试用订阅与非试用订阅时，也会出现类似情况——因为那些可能影响胜出者结果的有效试用期，在收入统计中始终未被纳入计算。

这就是我们预测模型发挥作用的地方。它基于 A/B 测试中当前的收入分布，并在大量数据集上完成训练，能够预测收入分布的未来状态（即一年后的情况）。在此基础上，它会输出一个预测的 P2BB——即如果你将测试运行整整一年所能得到的结果。

请注意，有时预测的 P2BB 可能与当前的 P2BB 相矛盾。遇到这种情况时，我们会用黄色高亮显示对应的实验变体行，如下所示：

我们认为这是一个信号，提示您需要积累更多数据来确认获胜者，或深入分析 A/B 测试以找出背后的原因。一般来说，我们建议优先参考预测 P2BB，而非当前 P2BB，因为前者纳入了更多数据作为依据，但最终决策当然由您来做。

模型准确性与置信度

该模型准确性较高，平均绝对百分比误差（MAPE）略低于 10%。这一精度水平使企业能够在做出数据驱动的决策时，放心地依赖模型的趋势预测结果。

为进一步保证结果的稳定性，模型采用了基于以下三个因素的”置信度”标准：

• 较窄的预测区间——模型对其结果有较高把握
• 测试中有足够数量的订阅与收入数据
• 距测试开始至少已过去 2 周

当以下三个标准中至少满足两个时，趋势预测被视为可靠。

当新的 A/B 测试开始时，模型会为每个付费墙提供未来一年每千次展示收入（我们 A/B 测试的核心数据图表）的趋势预测。只有满足确定性标准时，才会显示趋势预测。如果数据不足，模型将显示”数据不足，无法进行趋势预测”。

限制与注意事项

虽然我们的预测模型是一个强大的工具，但了解其局限性同样重要。

模型的表现取决于可用数据的质量和代表性。异常的同期群行为，或训练集中未包含的新应用，都可能影响预测准确性。

尽管如此，趋势预测每天都会更新，以反映最新数据和用户行为，确保您获取的洞察始终基于最新信息。

🚧 注意：此工具是对您专业判断和对应用独特动态理解的补充，而非替代。请将这些趋势预测作为参考，结合其他数据图表和市场知识，做出明智的决策。