Adapty Mail 中的 A/B 测试

Adapty Mail 中的 A/B 测试会对两个或多个完整的电子邮件营销活动进行比较。每个实验变体都是一个独立的完整营销活动。当用户符合测试的流程中的市场细分条件时,Adapty Mail 会根据配置的权重将用户分配到某个实验变体,并分别追踪每个实验变体的送达率、互动情况和收益。

什么是实验变体

每个实验变体都是一个完整的营销活动。各变体可以在文案、主图、语气、邮件序列长度或发送间隔时间上有所不同。

但收件人和发送时机不能有差异。整个测试只针对一个市场细分,其中每个营销活动都有同一个目的——即它所对应的生命周期节点,命名方式与流程中触发器的命名方式相同。这也决定了该测试可以运行在哪个流程中。

你需要分别编写每个营销活动,然后将它们作为实验变体添加进来。

创建 A/B 测试

  1. 先在 Campaigns 中创建营销活动。每个实验变体都需要一个独立的营销活动,且所有营销活动的目的必须相同。
  2. 在 Adapty Mail 中,进入 A/B Tests 并点击 Create。
  3. 将每个营销活动作为实验变体添加进来,并设置其权重。各实验变体的权重之和必须为 100%。
  4. 分配一个市场细分,以控制该测试适用的用户范围。
  5. 保存。

测试保存后处于草稿状态,不会发送任何内容。若要正式生效,需要将其关联到一个流程。

A/B 测试创建表单,包含实验变体、权重和市场细分选择

从流程启动

A/B 测试的启动和结束均在流程中操作,而非在 A/B Tests 页面。

  1. 在 Adapty Mail 中,进入 Flows 并打开要启动测试的触发器。
  2. 在新行中点击 Create。在弹出的对话框中,将 Content type 设置为 A/B Test,选择已保存的测试,然后点击 Save。
  3. 在该行上,点击 Launch A/B test。

测试状态将从 draft 变为 live,此后符合市场细分条件的用户将开始被路由到各实验变体。在流程中管理市场细分 介绍了其余可操作的内容。

A/B 测试创建表单,包含实验变体、权重和市场细分选择

路由的工作原理

当用户触发流程并匹配 A/B 测试的市场细分时,Adapty Mail 会通过加权随机方式选取一个实验变体——每个实验变体的权重决定其被抽中的概率。路由并非针对每个用户的确定性分配。

读取结果

在 A/B 测试页面,每个实验变体会显示其原始计数和衍生比率:

  • Delivery:Sends、Deliveries、Bounces。
  • Engagement:Opens、Clicks、Unsubs。
  • Revenue:Purchases、Revenue。

营销活动数据分析 介绍了每项数据图表的统计口径及收入归因方式。

A/B 测试结果,各实验变体的指标并排展示

结束测试

  1. 打开触发该测试的触发器。
  2. 点击 Finish A/B test。
  3. 在 Finish A/B test 对话框中,从 Replace with campaign 下拉菜单中选择获胜的营销活动——或留空以将该市场细分从流程中完全移除。
  4. 确认。
Note

已经处于任意变体序列中途的用户——无论是获胜还是失败的变体——都将继续收到其已计划的邮件。他们不会被切换到获胜的变体。

A/B Test results with per-variation metrics side by side

生命周期

A/B 测试会经历四种状态:

  • 草稿:已创建,尚未添加到流程中。
  • 运行中:已挂载并启动,正在为新用户分配流量。
  • 已完成:通过 Finish A/B test 操作停止。
  • 已归档:从列表中软删除。