A/B testi, bir flow, paywall veya onboarding’in iki farklı versiyonunun performansını karşılaştırmak için kullanılan güçlü bir tekniktir. Temel amaç, 12 aylık dönemde kullanıcı başına ortalama gelire dayanarak hangi versiyonun daha etkili olduğunu belirlemektir. Ancak veri toplamak ve karar vermek için tam bir yıl beklemek pratik değildir. Bu nedenle, hedef metriği yaklaşık olarak temsil etmek amacıyla geçmiş veri analizine dayanan bir vekil metrik olarak kullanıcı başına 2 haftalık gelir kullanılmaktadır. Doğru ve güvenilir sonuçlar elde etmek için farklı veri türlerini işleyebilen sağlam bir istatistiksel yöntem kullanmak kritik önem taşır. Modern veri analizinde popüler bir yaklaşım olan Bayesci istatistik, A/B testi için esnek ve sezgisel bir çerçeve sunar. Bayesci yöntemler, önceki bilgiyi dahil ederek yeni verilerle güncellemek suretiyle belirsizlik altında daha iyi kararlar alınmasına olanak tanır. Bu belge, Adapty’nin A/B testi sonuçlarını değerlendirmede ve veri odaklı karar alma süreçlerine değerli içgörüler sunmada kullandığı matematiksel analize kapsamlı bir rehber niteliği taşımaktadır.

Adapty’nin istatistiksel analiz yaklaşımı

Adapty, A/B testlerinin performansını değerlendirmek ve doğru, güvenilir içgörüler sunmak için kapsamlı bir istatistiksel analiz yaklaşımı benimser. Metodolojimiz şu temel adımlardan oluşur:

1. Metrik tanımı: Bir A/B testini başarıyla yürütmek için analizin belirli hedef ve amaçlarıyla örtüşen temel metriği tanımlamanız gerekir. Adapty, 1 yıl sonraki ortalama gelir şeklindeki uzun vadeli hedef için hangi metriğin proxy görevi üstlendiğini belirlemek amacıyla büyük miktarda abonelik uygulaması tarihsel verisinden yararlandı; bu metrik 14 günlük ARPU olarak belirlendi.
2. Hipotez oluşturma: A/B testi için iki hipotez oluşturuyoruz. Sıfır hipotezi (H0), kontrol grubu (A) ile test grubu (B) arasında anlamlı bir fark olmadığını varsayar. Alternatif hipotez (H1), iki veya daha fazla grup arasında anlamlı bir fark bulunduğunu öne sürer.
3. Dağılım seçimi: Verinin özelliklerine ve gözlemlediğimiz metriğe göre en uygun dağılım ailesini seçiyoruz. Buradaki en yaygın tercih, sıfır değerleri de göz önünde bulundurularak log-normal dağılımıdır.
4. En iyi olma olasılığı hesabı: Bayesci A/B testi yaklaşımını kullanarak, teste katılan her paywall veya onboarding varyantı için en iyi seçenek olma olasılığını hesaplıyoruz. Bu değer daha önce kullandığımız p-değerleriyle ilişkilidir; ancak özünde farklı, daha sağlam ve anlaşılması daha kolay bir yaklaşımdır.
5. Sonuçların yorumlanması: En iyi olma olasılığı tam olarak adından anlaşıldığı gibidir. Olasılık ne kadar yüksekse, belirli bir seçeneğin iş için en iyi tercih olma ihtimali o kadar artar. Karar alma eşiğini kendiniz belirlemeniz gerekir; bu eşik, durumunuza özgü pek çok faktöre bağlı olmalıdır. Yaygın bir olasılık eşiği ise %95’tir.
6. Tahmin aralıkları: Adapty, her grup için performans metriklerine ilişkin tahmin aralıkları hesaplar ve gerçek popülasyon parametresinin büyük olasılıkla düşeceği bir değer aralığı sunar. Bu, tahmini performans metrikleriyle ilişkili belirsizliği ölçümlendirmeye yardımcı olur.

Örneklem büyüklüğünün belirlenmesi

Güvenilir ve kesin A/B testi sonuçları için uygun bir örneklem büyüklüğü belirlemek kritik öneme sahiptir. Adapty, yeterli bir örneklem büyüklüğünü sağlamak amacıyla Bayesci yaklaşım altında da önemini koruyan istatistiksel güç ve beklenen etki büyüklüğü gibi faktörleri göz önünde bulundurur. Şu anda kullandığımız Bayesci yaklaşıma özgü gerekli örneklem büyüklüğünü tahmin etme yöntemleri, analizin güvenilirliğini güvence altına alır.

A/B testlerinin işlevselliği hakkında daha fazla bilgi edinmek için A/B testi oluşturma ve A/B testi çalıştırma belgelerimize, ayrıca çeşitli A/B testi metrikleri ve sonuçlarına ilişkin kaynaklarımıza başvurmanızı öneririz.

Adapty’nin A/B testlerine yönelik analitik çerçevesi artık Bayesci bir yaklaşım benimsemektedir; ancak odak noktası yine metriklerin tanımlanması, hipotezlerin oluşturulması ve dağılımların seçilmesi üzerindedir. Artık p-değerleri hesaplamak yerine, posterior dağılımları hesaplıyor ve her varyantın en iyi olma olasılığını belirliyoruz. Ayrıca tahmin aralıklarını da hesaplıyoruz. Bu güncellenmiş yaklaşım, kapsamlı ve daha da sağlam olmayı sürdürürken, daha sezgisel ve yorumlaması daha kolay içgörüler sunmak üzere tasarlanmıştır. Amaç, işletmelere A/B testlerinin sağlam istatistiksel analizine dayalı olarak stratejilerini optimize etme, performansı iyileştirme ve büyümeyi destekleme konularında güç kazandırmak olmaya devam etmektedir.