Các loại A/B test
Adapty cung cấp hai loại A/B test, mỗi loại phù hợp với các tình huống kiểm thử khác nhau:
- A/B test thông thường: Một A/B test được tạo cho một flow/paywall/onboarding placement duy nhất.
- A/B test đa placement: Một A/B test được tạo cho nhiều flow hoặc paywall placement trong ứng dụng của bạn. Sau khi A/B test chỉ định một biến thể Các biến thể A/B test là các phiên bản thay thế của flow, paywall hoặc onboarding để thử nghiệm. , nó sẽ hiển thị biến thể đó nhất quán trên tất cả các phần đã chọn trong ứng dụng của bạn.
Mỗi flow/paywall/onboarding được gán một trọng số để phân chia lưu lượng truy cập trong quá trình thử nghiệm.
Ví dụ, với tỷ lệ phân bổ 70% và 30%, paywall đầu tiên sẽ được hiển thị cho khoảng 700 trong số 1.000 người dùng, và paywall thứ hai cho khoảng 300 người. Trong các A/B test đa placement, tỷ lệ phân bổ được đặt theo từng biến thể, không phải theo flow hay paywall.
Cách thiết lập này cho phép bạn so sánh các flow, paywall khác nhau và đưa ra quyết định dựa trên dữ liệu cho chiến lược kiếm tiền của ứng dụng.
Khi nào nên dùng loại nào
Mỗi loại A/B test hữu ích trong các trường hợp sau:
- A/B test thông thường:
- Bạn chỉ có một placement trong ứng dụng.
- Bạn muốn chạy A/B test trên một placement duy nhất và chỉ theo dõi sự thay đổi về kinh tế cho placement đó, ngay cả khi ứng dụng có nhiều placement.
- Bạn muốn chạy A/B test trên người dùng cũ (những người đã thấy ít nhất một paywall của Adapty).
- A/B test xuyên placement:
- Bạn muốn đồng bộ các biến thể trên nhiều placement. Ví dụ, bạn có thể thay đổi giá trong flow onboarding và trong phần cài đặt của ứng dụng cùng một lúc.
- Bạn muốn đánh giá tổng thể kinh tế của ứng dụng. Chạy test trên tất cả các placement giúp phân tích số liệu thống kê A/B test dễ dàng hơn so với test từng placement riêng lẻ.
- Bạn muốn chạy A/B test chỉ trên người dùng mới, tức là những người chưa từng thấy bất kỳ paywall nào của Adapty.
- Bạn muốn sử dụng nhiều flow hoặc paywall trong một biến thể duy nhất:
Sự khác biệt chính
| Tính năng | A/B Test thông thường | A/B Test đa placement |
|---|---|---|
| Đối tượng kiểm tra | Một flow/paywall/onboarding | Tập hợp các flow hoặc paywall thuộc một biến thể |
| Tính nhất quán của biến thể | Biến thể được xác định riêng cho từng placement | Cùng một biến thể được sử dụng cho tất cả các placement trong test |
| Nhắm mục tiêu đối tượng | Xác định theo từng placement flow/paywall/onboarding | Dùng chung cho tất cả các placement trong test |
| Phân tích | Bạn phân tích một placement flow/paywall/onboarding | Bạn phân tích toàn bộ ứng dụng trên các placement là một phần của test |
| Phân phối trọng số biến thể | Theo từng flow/paywall/onboarding | Theo tập hợp các flow hoặc paywall |
| Người dùng | Dành cho tất cả người dùng | Chỉ người dùng mới (những người chưa thấy paywall Adapty) |
| Phiên bản Adapty SDK | Với flow: v4.0.0+. Bất kỳ phiên bản nào với paywall. Với onboarding: v3.8.0+ (iOS, Android, React Native, Flutter), v3.14.0+ (Unity), v3.15.0+ (KMP, Capacitor) | 4.0.0+ cho flow, 3.5.0+ cho paywall |
| Phù hợp nhất cho | Kiểm tra các thay đổi độc lập trong một placement flow/paywall/onboarding mà không xem xét kinh tế tổng thể của ứng dụng | Đánh giá các chiến lược kiếm tiền tổng thể trên toàn ứng dụng |
Logic lựa chọn A/B test
A/B test đa placement được ưu tiên hơn A/B test thông thường. Tuy nhiên, A/B test đa placement chỉ hiển thị cho người dùng mới — những người chưa từng thấy bất kỳ flow hay paywall nào của Adapty (ứng dụng chưa bao giờ gọi getFlow hoặc getPaywall cho họ). Điều này đảm bảo tính nhất quán trong kết quả trên các placement.
Sơ đồ dưới đây mô tả logic Adapty sử dụng để lựa chọn A/B test cho một placement:
Trên trang A/B Tests, các A/B test cho flow, paywall và onboarding được hiển thị trên các tab riêng biệt. Các A/B test crossplacement có hai tab riêng: Crossplacement (Flows) và Crossplacement (Paywalls).
Giới hạn của A/B test đa placement
A/B test đa placement không thể bao gồm các placement onboarding. Một test không thể kết hợp placement flow và placement paywall.
A/B test đa placement đảm bảo rằng mỗi người dùng sẽ thấy cùng một biến thể trên tất cả các placement trong test. Điều này tạo ra các giới hạn sau:
-
Chỉ người dùng mới mới có thể tham gia. Người dùng mới là người chưa thấy flow hoặc paywall nào của Adapty và ứng dụng của họ chưa bao giờ gọi
getFlowhaygetPaywall. Adapty không thể đảm bảo chuỗi flow hoặc paywall nhất quán cho những người dùng khác. -
Placement đầu tiên mà người dùng gặp sẽ quyết định flow hoặc paywall nào Adapty hiển thị. Bạn không thể thay đổi lần gán của người dùng hoặc đăng ký cùng một người dùng vào nhiều hơn một A/B test Crossplacement.
-
Một thiết bị chỉ nhận biết được các lần gán cross-placement được thực hiện ở nơi khác — ví dụ, trên thiết bị khác của người dùng — khi ứng dụng trở nên hoạt động, và tối đa một lần mỗi 60 giây. Quá trình đồng bộ này không thể bị ép buộc, vì vậy một lần gán có thể mất đến một phút, hoặc cho đến lần foreground tiếp theo, để đến được một phiên đang chạy lâu dài.
Khi một người dùng nhận được một flow hoặc paywall Crossplacement, họ sẽ thấy nó trong 90 ngày, ngay cả sau khi bạn dừng test. Để thay đổi thời gian này, trong cài đặt General, hãy điều chỉnh Cross-placement variation stickiness.
Độ ưu tiên của A/B test đa placement
-
A/B test đa placement luôn có độ ưu tiên cao hơn A/B test thông thường và A/B test onboarding. Nếu một người dùng mới đủ điều kiện cho cả A/B test đa placement và A/B test thông thường trên cùng một placement, A/B test đa placement sẽ được hiển thị.
-
Khi nhiều A/B test đa placement với cùng đối tượng chia sẻ cùng một placement, Adapty tự động gán độ ưu tiên kiểm thử dựa trên thứ tự chúng được thêm vào. Kiểm thử đầu tiên có độ ưu tiên cao nhất. Bạn không thể thay đổi điều này theo cách thủ công.
-
Các kiểm thử nhắm vào phân khúc người dùng nhỏ hơn tự động có độ ưu tiên cao hơn so với những kiểm thử nhắm vào phân khúc Tất cả người dùng.
Trong Analytics, một A/B test đa placement xuất hiện dưới dạng nhiều kiểm thử con, mỗi kiểm thử cho một placement. Các kiểm thử con theo mẫu đặt tên <test-name> child-0, <test-name> child-1, v.v. Việc đánh số khớp với thứ tự placement trên trang chi tiết A/B test. Để xem kết quả cho một placement cụ thể, hãy lọc theo Placement.
Các bước tiếp theo
- Tạo, chạy và dừng A/B test — Thiết lập và khởi chạy kiểm thử đầu tiên của bạn
- Kết quả và chỉ số A/B test — Phân tích hiệu suất và chọn biến thể chiến thắng