Adapty Mail 中的 A/B 测试

Adapty Mail 中的 A/B 测试会将两个或多个完整的邮件营销活动相互对比。每个实验变体都是一个完整、独立的营销活动。当用户符合测试的市场细分条件时,Adapty Mail 会根据配置的权重将其路由到某个实验变体,并分别追踪每个实验变体的送达率、互动情况和收入数据。

什么是实验变体

每个实验变体都是一个完整的活动。实验变体之间可以在任何活动维度上有所不同——文案内容、主图、语气风格、邮件序列长度或发送间隔时间。A/B 测试本身不提供这些调节选项;你需要分别创建活动,然后将它们作为实验变体添加进来。

创建 A/B 测试

  1. 先在 Campaigns 中创建好活动,每个实验变体需要对应一个独立的活动。
  2. 在 Adapty Mail 中,进入 A/B Tests 并点击 Create
  3. 将每个活动添加为实验变体,并设置其权重。所有权重之和必须为 100%
  4. 分配一个市场细分,以控制测试适用的用户范围。
  5. 保存。

测试保存后状态为草稿,不会发送任何内容。要正式上线,需将其关联到一个流程。

A/B Test create form with variations, weights, and segment selection

从流程中启动

A/B 测试无法从 A/B Tests 页面启动——启动和结束都在流程行内完成。

  1. 在 Adapty Mail 中,进入 Flows 并打开要运行测试的触发器。
  2. 在新行上点击 Create。在对话框中,将 Content type 设置为 A/B Test,选择已保存的测试,然后点击 Save
  3. 在该行上点击 Launch A/B test

测试状态从 draft 变为 live,符合市场细分条件的新用户将开始被分配到各实验变体。更多关于流程行的说明,请参阅创建流程

A/B 测试创建表单,包含实验变体、权重和目标受众选择

路由的工作原理

当用户触发流程并符合 A/B 测试的市场细分条件时,Adapty Mail 会通过加权随机的方式选取一个实验变体——每个实验变体的权重决定其被抽中的概率。路由结果并非按用户固定分配。

查看结果

在 A/B 测试页面上,每个实验变体会显示其原始计数和派生比率:

  • Delivery:Sends、Deliveries、Bounces。
  • Engagement:Opens、Clicks、Unsubs。
  • Revenue:Purchases、Revenue。

各数据图表的统计口径和收入归因方式,请参阅营销活动分析

A/B 测试结果,各实验变体的数据指标并排展示

完成测试

与启动操作一样,完成测试也是在流程行中操作,而不是在 A/B Tests 页面。

  1. 打开正在运行测试的流程行。
  2. 点击 Finish A/B test
  3. Finish A/B test 对话框中,从 Replace with campaign 下拉菜单中选择获胜的活动——或者留空以将该市场细分从流程中完全移除。
  4. 确认操作。

已经在某个实验变体序列中进行到一半的用户——无论是获胜还是未获胜的变体——都会继续收到已安排的邮件,不会被切换到获胜方案。

A/B 测试结果,各实验变体数据并排对比

生命周期

A/B 测试会经历四个状态:

  • 草稿:已创建,尚未关联到正式的流程行。
  • 进行中:已关联并启动,正在为新进用户分配流量。
  • 已结束:通过 Finish A/B test 操作停止。
  • 已归档:从列表中软删除。