A/B testi, bir paywall veya onboarding’in iki farklı versiyonunun performansını karşılaştırmak için kullanılan güçlü bir tekniktir. Temel amaç, 12 aylık dönemdeki kullanıcı başına ortalama gelire göre hangi versiyonun daha etkili olduğunu belirlemektir. Ancak veri toplamak ve karar vermek için tam bir yıl beklemek pratik değildir. Bu nedenle, hedef metriği yaklaşık olarak tahmin etmek için geçmiş veri analizine dayalı olarak seçilen kullanıcı başına 2 haftalık gelir bir proxy metrik olarak kullanılmaktadır. Doğru ve güvenilir sonuçlar elde edebilmek için farklı veri türlerini işleyebilen sağlam bir istatistiksel yöntem kullanmak kritik önem taşır. Modern veri analizinde popüler bir yaklaşım olan Bayesci istatistik, A/B testi için esnek ve sezgisel bir çerçeve sunar. Önceki bilgiyi dahil ederek yeni verilerle güncelleyen Bayesci yöntemler, belirsizlik altında daha iyi kararlar alınmasını sağlar. Bu belge, Adapty’nin A/B testi sonuçlarını değerlendirmek ve veri odaklı karar alma için değerli içgörüler sunmak amacıyla kullandığı matematiksel analize kapsamlı bir kılavuz sunmaktadır.

Adapty’nin istatistiksel analiz yaklaşımı

Adapty, A/B testlerinin performansını değerlendirmek ve doğru, güvenilir içgörüler sunmak için kapsamlı bir istatistiksel analiz yaklaşımı benimser. Metodolojimiz şu temel adımlardan oluşur:

1. Metrik tanımı: Bir A/B testini başarıyla yürütmek için analizin belirli hedef ve amaçlarıyla örtüşen temel metriği tanımlamanız gerekir. Adapty, 1 yıl sonraki ortalama gelir şeklindeki uzun vadeli hedef için hangi metriğin proxy görevi üstlendiğini belirlemek amacıyla büyük miktarda abonelik uygulaması tarihsel verisinden yararlandı; bu metrik 14 günlük ARPU olarak belirlendi.
2. Hipotez oluşturma: A/B testi için iki hipotez oluşturuyoruz. Sıfır hipotezi (H0), kontrol grubu (A) ile test grubu (B) arasında anlamlı bir fark olmadığını varsayar. Alternatif hipotez (H1), iki veya daha fazla grup arasında anlamlı bir fark bulunduğunu öne sürer.
3. Dağılım seçimi: Verinin özelliklerine ve gözlemlediğimiz metriğe göre en uygun dağılım ailesini seçiyoruz. Buradaki en yaygın tercih, sıfır değerleri de göz önünde bulundurularak log-normal dağılımıdır.
4. En iyi olma olasılığı hesabı: Bayesci A/B testi yaklaşımını kullanarak, teste katılan her paywall veya onboarding varyantı için en iyi seçenek olma olasılığını hesaplıyoruz. Bu değer daha önce kullandığımız p-değerleriyle ilişkilidir; ancak özünde farklı, daha sağlam ve anlaşılması daha kolay bir yaklaşımdır.
5. Sonuçların yorumlanması: En iyi olma olasılığı tam olarak adından anlaşıldığı gibidir. Olasılık ne kadar yüksekse, belirli bir seçeneğin iş için en iyi tercih olma ihtimali o kadar artar. Karar alma eşiğini kendiniz belirlemeniz gerekir; bu eşik, durumunuza özgü pek çok faktöre bağlı olmalıdır. Yaygın bir olasılık eşiği ise %95’tir.
6. Tahmin aralıkları: Adapty, her grup için performans metriklerine ilişkin tahmin aralıkları hesaplar ve gerçek popülasyon parametresinin büyük olasılıkla düşeceği bir değer aralığı sunar. Bu, tahmini performans metrikleriyle ilişkili belirsizliği ölçümlendirmeye yardımcı olur.

Örneklem büyüklüğünün belirlenmesi

Güvenilir ve kesin A/B testi sonuçları için uygun bir örneklem büyüklüğü belirlemek kritik öneme sahiptir. Adapty, yeterli bir örneklem büyüklüğünü sağlamak amacıyla Bayesci yaklaşım altında da önemini koruyan istatistiksel güç ve beklenen etki büyüklüğü gibi faktörleri göz önünde bulundurur. Şu anda kullandığımız Bayesci yaklaşıma özgü gerekli örneklem büyüklüğünü tahmin etme yöntemleri, analizin güvenilirliğini güvence altına alır.

A/B testlerinin işlevselliği hakkında daha fazla bilgi edinmek için A/B testi oluşturma ve A/B testi çalıştırma belgelerimize, ayrıca çeşitli A/B testi metrikleri ve sonuçlarına ilişkin kaynaklarımıza başvurmanızı öneririz.

Adapty’nin A/B testlerine yönelik analitik çerçevesi artık Bayesci bir yaklaşım kullanmaktadır; ancak odak noktası metriklerin tanımlanması, hipotezlerin oluşturulması ve dağılımların seçilmesi olmaya devam etmektedir. Bununla birlikte, p-değerleri belirlemek yerine artık posterior dağılımları hesaplıyor ve her varyantın en iyi olma olasılığını buluyoruz. Ayrıca artık tahmin aralıklarını da belirliyoruz. Hâlâ kapsamlı ve çok daha sağlam olan bu güncellenmiş yaklaşım, daha sezgisel ve yorumlanması daha kolay içgörüler sunmak üzere tasarlanmıştır. Hedef, işletmelerin stratejilerini optimize etmelerini, performanslarını artırmalarını ve A/B testlerinin sağlam istatistiksel analizine dayalı olarak büyümelerini sağlamaktır.