CUPED - Kameleoon Documentation

事前実験データを使用した制御実験(CUPED)は、既存の訪問者からのデータを使用して、信頼性の高い実験とパーソナライゼーション結果を加速します。

主な利点

CUPEDを使用して、データ駆動型の意思決定をより速く、より高い信頼性で行います。CUPEDは、バリエーション効果のより良い推定値を提供し、データが限られたテストの偽陽性結果のリスクを削減します。

CUPEDは以下の場合に最も効果的です:

CUPEDを有効にする前に、実験のゴールを検討してください。トランザクションなど、サイトの主要メトリクスに対してCUPEDをアクティブ化します。

CUPEDを有効にするには:

データのロードはクラシックアルゴリズムよりも時間がかかる場合があります。パフォーマンスを維持するために、CUPEDを主要なゴールに制限してください。

ページデータは選択したゴールに基づいて変化します。プライマリゴールを選択した場合、メイン結果ブロックにはCUPED調整済みデータが表示され、CUPED有効とラベル付けされます。

同様に、各ゴールの結果テーブルは、有効になっているCUPED設定に基づいて更新されます。

結果列には3つの主要な違いが表示されます:

CUPEDを無効にする場合のみ、結果データにフィルタベースの分割を適用してください。テーブルで分割をクリックすると、CUPEDを無効にすることを確認する必要があります。分割フィルタを削除した後、CUPEDを再アクティブ化できます。

CUPEDの有効性は時間とともに向上します。Kameleoonを使用するにつれて、アルゴリズムはより多くの実験データを活用して精度を向上させます。

CUPED構成を変更するには:

ポップアップウィンドウでゴールを選択または選択解除し、検証をクリックします。

クラシック統計手法に戻すには:

ポップアップウィンドウでゴールを選択解除し、検証をクリックします。CUPEDはもはや結果に適用されません。

CUPEDを一度有効にしたら、その結果に一貫して依存してください。より好ましい結果を見つけるためにオリジナルとCUPED調整済みの結果を切り替えると、アップリフトを過大評価し、偽陽性に遭遇するリスクが高まります。

CUPEDの詳細については、Kameleoon統計ペーパーをお読みください。