Adapty Mail 中的 A/B 测试
Adapty Mail 中的 A/B 测试会对两个或多个完整的电子邮件营销活动进行比较。每个实验变体都是一个独立的完整营销活动。当用户符合测试的流程中的市场细分条件时,Adapty Mail 会根据配置的权重将用户分配到某个实验变体,并分别追踪每个实验变体的送达率、互动情况和收益。
什么是实验变体
每个实验变体都是一个完整的营销活动。各变体可以在文案、主图、语气、邮件序列长度或发送间隔时间上有所不同。
但收件人和发送时机不能有差异。整个测试只针对一个市场细分,其中每个营销活动都有同一个目的——即它所对应的生命周期节点,命名方式与流程中触发器的命名方式相同。这也决定了该测试可以运行在哪个流程中。
你需要分别编写每个营销活动,然后将它们作为实验变体添加进来。
创建 A/B 测试
- 先在 Campaigns 中创建营销活动。每个实验变体都需要一个独立的营销活动,且所有营销活动的目的必须相同。
- 在 Adapty Mail 中,进入 A/B Tests 并点击 Create。
- 将每个营销活动作为实验变体添加进来,并设置其权重。各实验变体的权重之和必须为 100%。
- 分配一个市场细分,以控制该测试适用的用户范围。
- 保存。
测试保存后处于草稿状态,不会发送任何内容。若要正式生效,需要将其关联到一个流程。
从流程启动
A/B 测试的启动和结束均在流程中操作,而非在 A/B Tests 页面。
- 在 Adapty Mail 中,进入 Flows 并打开要启动测试的触发器。
- 在新行中点击 Create。在弹出的对话框中,将 Content type 设置为 A/B Test,选择已保存的测试,然后点击 Save。
- 在该行上,点击 Launch A/B test。
测试状态将从 draft 变为 live,此后符合市场细分条件的用户将开始被路由到各实验变体。在流程中管理市场细分 介绍了其余可操作的内容。
路由的工作原理
当用户触发流程并匹配 A/B 测试的市场细分时,Adapty Mail 会通过加权随机方式选取一个实验变体——每个实验变体的权重决定其被抽中的概率。路由并非针对每个用户的确定性分配。
读取结果
在 A/B 测试页面,每个实验变体会显示其原始计数和衍生比率:
- Delivery:Sends、Deliveries、Bounces。
- Engagement:Opens、Clicks、Unsubs。
- Revenue:Purchases、Revenue。
营销活动数据分析 介绍了每项数据图表的统计口径及收入归因方式。
结束测试
- 打开触发该测试的触发器。
- 点击 Finish A/B test。
- 在 Finish A/B test 对话框中,从 Replace with campaign 下拉菜单中选择获胜的营销活动——或留空以将该市场细分从流程中完全移除。
- 确认。
Note
已经处于任意变体序列中途的用户——无论是获胜还是失败的变体——都将继续收到其已计划的邮件。他们不会被切换到获胜的变体。
生命周期
A/B 测试会经历四种状态:
- 草稿:已创建,尚未添加到流程中。
- 运行中:已挂载并启动,正在为新用户分配流量。
- 已完成:通过 Finish A/B test 操作停止。
- 已归档:从列表中软删除。