フィーチャー実験の相互排他グループ

この記事では、フィーチャー実験の相互排他グループがどのように機能するか、信頼性の高い分析にとってなぜ重要なのか、Kameleoon でのセットアップ方法を説明します。 複数のフィーチャー実験を同時に実行すると、特に異なるチームがプロダクトの同じエリアに影響を及ぼす変更をテストしている場合、効果の重複が起こることがあります。

​

相互排他グループのセットアップ

1. 実験グループを定義する: どのフィーチャーフラグ（とその実験）を相互排他にすべきかを決定します。たとえば、チェックアウトフローを変更するすべての実験を1つにグループ化できます。
2. 実験にタグを付ける: “ME-GROUP-{GROUP NAME}” という命名規則を使ってグループ内の各実験にタグを付けます（例: ME-GROUP-A）。これにより、Kameleoon はグループ内で相互排他を強制します。
3. 作成時にフラグにタグを付けるか、既存のフラグの三点メニューから Manage tags を選択してタグを付けることができます。

完了すると、各訪問者は各相互排他グループから1つの実験のみに公開され、正確で重複のない結果が得られます。

​

相互排他グループの例

チェックアウト体験のさまざまなバリエーションをテストしているとします。

• Group A: Experiment 1（新しいチェックアウトフロー）と Experiment 2（ワンクリックチェックアウト）
• Group B: Experiment 3（アップセル提案）と Experiment 4（割引バナーの配置）

相互排他のセットアップでは、

• 訪問者は Group A から Experiment 1 または Experiment 2 のいずれかを見ますが、両方は見ません。
• 同じ訪問者は Group B から Experiment 3 または Experiment 4 のいずれかを見るかもしれませんが、両方は見ません。

このセットアップにより、訪問者は各グループ内で複数の競合する変更を経験しないため、各実験のインパクトをより正確に測定できます。 一貫性を維持するため、訪問者が以前グループ内の実験に割り当てられていた場合、そのままその実験に割り当てられ続けます。グループに対して新規の訪問者であれば、ランダムに割り当てられ、均等な分配が確保されます。 このセットアップには追加のターゲティング条件は不要で、実験ルールを含むフラグへの実装が容易になり、フィーチャー実験の整合性を維持し、よりクリーンなデータと自信を持った意思決定につながります。

​

露出率と MEG の相互作用

個別の実験に設定された露出率は、それらの実験が同じ相互排他グループに属する場合、各実験の全トラフィックに対して独立して適用されるわけではありません。MEG はまずグループ内のどの単一実験に訪問者が対象となるかを決定し、その配分の上に実験自身の露出率が適用されます。 MEG 内の各実験は、個別の露出設定にかかわらず、対象となるグループ人口の概ね均等な分け前（たとえばグループに3つの実験があれば1/3ずつ）を受け取ります。

​

例

同じ MEG に属し、それぞれ20万リクエストを受信する別ページで実行される3つの実験を想定してください。 結果は 20k / 60k / 120k にはなりません。それは各実験が露出率の適用前にページの全トラフィックを受け取ると仮定した場合の結果であり、MEG はそのように動作しません。