ホールドアウトを作成・管理する

Holdouts は、ユーザーのグループを変更から除外することで、プロダクト更新の長期的な影響を測定でき、主要指標を時間軸で分析しやすくします。この記事では、Kameleoon でホールドアウトを設定・モニタリングする方法を説明します。

​

ホールドアウトのセットアップ

開始するには、Feature Experimentation ダッシュボードに移動し、右上の 三点メニュー > Holdouts をクリックします。Holdouts panel が開きます。 パネルでは、Kameleoon プロジェクトのリストと、それぞれのホールドアウト状況のサマリーが表示されます。デフォルトでは、すべてのプロジェクトはホールドアウト状況の下に Not set と表示されます。 ホールドアウトを構成するには:

1. プロジェクトをクリック します。
2. トグルをオンにして ホールドアウトを有効化 します。
3. トラフィック分配を設定します。通常 1〜10% の範囲です。トラフィック分配とは、ホールドアウトが有効な間、すべての実験とロールアウトから除外されるユーザーの割合です。
4. 追跡したい 主要ゴールを選択 します。ホールドアウトは完全に隔離された環境（プロダクト更新の影響を受けない）でこれらを測定するため、長期的にチームが重視する指標を選んでください。

構成が完了したら、Save をクリックして変更を適用し、ダッシュボードに戻ります。 Holdouts パネルを再度開くと、どのホールドアウトが構成されており、結果が利用可能かどうかのサマリーが表示されます。 ホールドアウト結果を表示するには: プロジェクトをクリックし、パネル下部の Results を選択します。次のことができる専用のレポートページが開きます。

• 選択した指標のトレンドをモニタリングする。
• プロダクト、データ、エンジニアリングチームとインサイトを共有する。
• 変更の長期的な影響を分析する。

​

ベストプラクティス

• テストアプローチを区別する: A/B テストを使ってユーザーの即時反応を測定し、ホールドアウトテストを使ってプロダクト更新の長期的な影響を評価します。この違いを念頭に置いてホールドアウトの期間を計画してください。
• 主要指標に集中する: エンゲージメント、リテンション、収益などの長期的な指標を優先します。ホールドアウトのパフォーマンスを評価する際に短期的な指標だけに頼らないようにしましょう。
• チーム間のコラボレーションを促進する: プロダクトマネージャー、データサイエンティスト、エンジニア間で活発なコミュニケーションを維持し、ホールドアウトが適切に構成・モニタリング・分析されるようにします。
• ホールドアウト期間に留意する: 長期的なインサイトの必要性とユーザー体験のバランスを取りましょう。ユーザーを更新なしで長期間ホールドアウトに留めると、不満につながる可能性があります。