Adapty の A/B テスト機能における予測分析のドキュメントへようこそ。このツールは、実行中の A/B テストの将来の結果に関するインサイトを提供し、Adapty の ML ベースの予測でデータに基づいた意思決定を素早く行えるよう支援します 🚀

A/B テストの予測とは？

Adapty の A/B テスト予測は、高度な機械学習技術（勾配ブースティングモデル）を活用して、A/B テストで比較されるペイウォールの長期的な収益ポテンシャルを予測します。

この予測モデルにより、テスト実行中に観察できる指標だけに頼るのではなく、1 年後の予測収益に基づいて最も効果的なペイウォールを選択できます。これにより、データが蓄積されるのを何週間も待つことなく、より確実かつ迅速に勝者を決定できます。

モデルはどのように機能するのか？

このモデルは、さまざまなカテゴリのアプリから収集した大量の A/B テスト履歴データで学習されています。実験開始から 1 年後にペイウォールが生み出す収益を予測するために、幅広い特徴量を組み込んでいます。これらの特徴量には以下が含まれます。

• 異なる期間にわたるユーザーのトランザクションとコンバージョン率
• ユーザーの地理的分布
• プラットフォームの利用状況（iOS または Android）
• オプトアウト率と返金率
• サブスクリプションプロダクトとその期間（日次・月次・年次など）
• その他のトランザクション関連データ

このモデルはペイウォールのトライアル期間も考慮しており、ユーザーがすでにコンバージョンしたかのように収益を予測するために、履歴のコンバージョン率を使用しています。アクティブなトライアルが将来的に収益をもたらす可能性についても考慮するため、トライアルオファーのあるペイウォールとないペイウォールを公平に比較できます。

予測 P2BB と通常の P2BB の違いは？

Adapty の A/B テストはベイズアプローチを採用しています。具体的には、ユーザーあたりの収益（「1,000 ユーザーあたりの収益」）の分布をモデル化し、一方の分布がもう一方よりも偶然ではなく「真に」優れている確率を計算します。これが「ベスト確率（P2BB）」と呼ばれるものです（詳細なアプローチについてはこちらをご覧ください）。

重要な点として、この計算はテストが実行された期間中に蓄積された収益のみに基づいています。たとえば、年次サブスクリプションと週次サブスクリプションを比較するテストを実行する場合、どちらが優れているかを真に理解するまでに非常に長い時間がかかります。同様に、A/B テストでトライアルサブスクリプションと非トライアルサブスクリプションを比較する場合も同じ問題が起きます。勝者の動向を左右する可能性があるアクティブなトライアルが、収益の計算において常に考慮されないためです。

ここで予測モデルが活躍します。A/B テストの現在の収益分布を持ち、大規模なデータセットで学習されているこのモデルは、将来の収益分布（具体的には 1 年後）を予測できます。そして、その結果として「予測 P2BB」を算出します。これは、テストを 1 年間丸ごと実行した場合に得られるであろう P2BB です。

予測 P2BB が現在の P2BB と矛盾することがある点に注意してください。そのような場合、以下のようにバリアントの行が黄色でハイライト表示されます。

これは、勝者を確認するためにさらにデータを蓄積するか、A/B テストを深く掘り下げてその原因を調査すべきシグナルと考えています。一般的に、予測 P2BB はより多くのデータを考慮しているため、現在の P2BB よりも予測 P2BB を信頼することを推奨しますが、最終的な判断はもちろんユーザー自身に委ねられています。

モデルの精度と確実性

このモデルは高い精度を実現しており、平均絶対誤差率（MAPE）は 10% をわずかに下回ります。この精度により、データに基づいた意思決定においてモデルの予測を自信を持って活用できます。

安定性をさらに確保するために、モデルは 3 つの要素に基づく「確実性」基準を採用しています。

• 予測区間が狭い — モデルが結果に高い確信を持っている
• テスト内のサブスクリプション数と収益が十分である
• テスト開始から少なくとも 2 週間が経過している

これら 3 つの基準のうち少なくとも 2 つが満たされた場合に、予測が信頼できるとみなされます。

新しい A/B テストが開始されると、モデルは各ペイウォールについて 1 年先の 1,000 ユーザーあたりの収益（A/B テストのメイン指標）の予測を提供します。予測は確実性基準を満たした場合のみ表示されます。データが不十分な場合、モデルは「予測に必要なデータが不足しています」と表示します。

制限事項と注意点

予測モデルは強力なツールですが、その制限事項を理解しておくことが重要です。

モデルのパフォーマンスは、利用可能なデータの質と代表性に依存します。通常とは異なるコホートの挙動や、学習セットに含まれていない新しいアプリは、予測精度に影響を与える可能性があります。

それでも、予測は最新のデータとユーザー行動を反映するために毎日更新されます。これにより、受け取るインサイトが常に最新の情報に基づいていることが保証されます。

🚧 注意：このツールは、あなたの専門的な判断やアプリ独自のダイナミクスへの理解を補完するものであり、代替するものではありません。これらの予測は、他の指標や市場知識と組み合わせて活用し、情報に基づいた意思決定のためのガイドとしてご利用ください。