この記事は Web Experimentation のホールドアウトについて説明しています。Feature Experimentation でホールドアウトを使用する方法については、こちらのヘルプドキュメント を参照してください。
ホールドアウトとは
ホールドアウトとは、実験や変更を一切受けない、Kameleoon 内のコントロールグループです。すべてのアクティブな実験の全体的な影響を測定するためのベースラインを作成するために使用されます。個別のテストグループを比較する代わりに、ホールドアウトを使用すると、すべての変更がユーザーエンゲージメントや他のメトリクスに与える累積的な効果を測定できます。主なメリット
通常の A/B テストでは、単一の実験を見たユーザーと見なかったユーザーを比較します。しかし、複数の実験が走っている場合、結果が重なり合って互いに影響を及ぼし、変更の全体的な効果を把握しにくくなります。ホールドアウトは以下によってこの問題を解決します。- ベースラインの提供: ホールドアウトグループは実験を一切受けず、明確な比較点を作成します。
- 累積的な影響の測定: ホールドアウトを使用すると、変更を一切受けないグループと比較することで、変更の総合的な影響がプラスかどうかがわかります。
ホールドアウトの例
3 つの実験（ボタンの色を変更する、商品画像を更新する、「Top Picks」セクションを追加する）を実施している EC サイトを想像してみてください。ホールドアウトグループは:- これらの各要素のオリジナルバージョンを見ます（変更は適用されません）。
- これらの変更の累積的な効果がコンバージョン率やエンゲージメントを実際に向上させるかどうかを理解するためのベースラインとして機能します。
Kameleoon でのホールドアウトの設定
- 新しい実験の作成: Kameleoon で実験をセットアップし、「HOLDOUT」タグを適用します。
- トラフィック分割の設定: 1 つのグループ（Control）には実験を一切表示せず、もう 1 つのグループ（Variation）は（ターゲティング条件を満たす限り）任意の実験に割り当てられるように、トラフィックを分割します。
- ゴールの追加: 実験で追跡したいゴールを定義します。これらのゴールは、ホールドアウトグループのパフォーマンスをホールドアウトに含まれない訪問者と比較するために不可欠です。
- 実験の起動: ホールドアウト実験を作成して起動したら、追加のセットアップは不要です。ホールドアウトとしてタグ付けされた実験の Results ページを確認することで、時間の経過に伴うパフォーマンスを監視するだけです。
ベストプラクティス
- トラフィック割り当て: 通常 3 〜 6 ヶ月の限られた期間において、最大 10% の除外トラフィックでホールドアウトを作成することをお勧めします。この割り当てにより、全体のトラフィックに大きな影響を与えることなく、信頼できるベースラインが確保されます。
- シンプルなセグメンテーション: 異なるセグメント（例: デスクトップ用とモバイル用）に対して複数のホールドアウトグループを設定できます。ただし、明確さと有効性を維持するために、ホールドアウトでは過度に複雑なターゲティングルールは避けることをお勧めします。