​

実験を最終調整する

A/B テストと多変量テストの違いについて学ぶには、Kameleoon Academy の この動画 をご覧ください。

​

最終調整ページにアクセスする

バリエーションを作成したら、実験を起動する準備が整います。 ヘッダーの右側で Finalize をクリックします。最終調整ページが開き、起動前に以下の手順を完了します。

• ターゲティングを定義する
• バリエーションにトラフィックを割り当てる
• 目標を定義する(統合を構成しない場合は必須)
• 統合を関連付ける(目標を構成しない場合は必須)
• 実験をシミュレートする(任意)

最終調整ページでは、以下も実行できます。

• 実験期間の推定
• 実験のスケジュール設定

​

ターゲティングを定義する

ターゲティングは A/B 実験を最終調整する最初のステップです。詳細については、実験のターゲティングを定義する を参照してください。

​

トラフィックを配分する

2 番目のステップはトラフィック配分です。デフォルトでは、Kameleoon はバリエーション間でトラフィックを均等に配分しますが、この設定は変更できます。 この例では、Kameleoon は各バリエーションを訪問者の 33.33% に表示します。 トラフィックの配分を変更するには:

• バリエーションの横にあるスライダーをクリックしてドラッグします。
• または スライダーの横にある数字をクリックしてパーセンテージを入力します。

このステップを保存して次へ進むには、Next をクリックします。

​

除外されたトラフィック

Kameleoon は、バリエーションに割り当てられていないトラフィックを Excluded traffic に自動的に割り当てます。これらの訪問者には、ページのオリジナルバージョンが表示されます。

​

バリエーションごとの均等配分

実験バリエーションに振り分けるトラフィックの合計割合を指定します。 たとえば、3 つのバリエーションがあり、75% の振り分けを設定した場合、Kameleoon は総トラフィックの 25% を元のページに、25% を各バリエーションに割り当てます。

​

バリエーションごとの異なる配分

各バリエーションに異なる割合を割り当てるには、スライダーを使用して値を調整します。 パーセンテージの値をクリックして新しい値を入力することもできます。 均等配分に戻すには、バリエーション一覧の下にある Allocate equally をクリックします。

​

配分方法

ドロップダウンメニューからトラフィック配分方法を選択します。

• Manual: 訪問者に対して静的なトラフィック配分を手動で設定します。
• Multi-armed Bandit: Kameleoon がバリエーションのパフォーマンスに基づいてトラフィック配分を自動的に調整します。
• Contextual Bandit: Kameleoon が特定の訪問者属性に基づいてバリエーションをパーソナライズし、各訪問者にとって最適なバリエーションを動的に選択します。

​

コンテキスチュアルバンディット

コンテキスチュアルバンディットは、機械学習を使用してトラフィック配分を動的に最適化します。リアルタイムで適応し、バリエーションのパフォーマンスとユーザーコンテキストに基づいてトラフィックを再配分します。 マルチアームドバンディットとコンテキスチュアルバンディットの違いを理解することで、実験に最適な方法を選択できます。

• マルチアームドバンディット:
  • クリックやコンバージョンなど特定の目標を最大化するために、バリエーション間のトラフィック配分を最適化します。
  • すべてのユーザーを平等に扱い、ユーザー属性を区別しません。
  • ユーザー固有のデータが利用できないか不要な場合や、オーディエンス全体で最もパフォーマンスの高いバリエーションを見つけたい場合に最適です。
• コンテキスチュアルバンディット:
  • デバイスタイプ、場所、行動などのユーザー固有のデータを意思決定に組み込みます。
  • 特定のユーザーに合わせてバリエーションを調整し、よりパーソナライズされた結果を実現します。
  • ユーザー属性を活用して、動的な環境で意思決定を最適化します。

Kameleoon のコンテキスチュアルバンディットの仕組みについて詳しく知るには、Kameleoon の統計に関する論文 をお読みください。

コンテキスチュアルバンディットを構成する

コンテキスチュアルバンディットを有効にするには:

1. Finalization パネルに移動します。
2. Traffic allocation をクリックします。
3. Select the allocation method ドロップダウンメニューで、Contextual bandit を選択します。

デフォルトでは、アルゴリズムは Kameleoon の事前定義されたユーザー属性に基づいてトラフィックを最適化します。 コンテキスチュアルバンディットの能力を最大限に活用するには、機械学習モデルの入力としてカスタムデータを提供します。カスタムデータは、CRM セグメント、購入履歴、アプリ内行動などのビジネス固有の属性に基づいて、アルゴリズムがより正確な予測を行うのに役立ちます。Custom Data Premium には AI 予測ターゲティングアドオンが必要です。 実験でカスタムデータを使用するには:

1. カスタムデータの構成パネルを開きます。
2. Use this custom data as input for AI Predictive Targeting を有効にします。

これにより、Kameleoon のアルゴリズムはこれらの属性を使用して、各訪問者に最も関連性の高いバリエーションを配信します。 AI 予測ターゲティングの詳細については、AI 予測ターゲティング を参照してください。

​

高度な再配分

Advanced reallocation を使用して、実験内のバリエーション間でトラフィックを再配分します。この機能を適用すると、Kameleoon はトラフィック配分をリセットし、再訪問者を新規訪問者として扱います。これは特定のバリエーションに集中したり、他のバリエーションをそれ以上のトラフィックから除外したりするのに便利です。 トラフィック配分ステップの右上で、Advanced reallocation をクリックします。パネルで、再配分されるトラフィックに含めるバリエーションを選択します。 再配分は、Reallocate をクリックしてからページの右上で Save をクリックすると有効になります。

​

参照バリエーションを設定する

実験結果を分析する際、Kameleoon は参照バリエーションを使用して他のバリエーションのパフォーマンス向上を計算します。デフォルトでは、Kameleoon は Original バリエーションを参照として設定します。

​

参照バリエーションの要件

正確なレポートを保証するため、参照バリエーションは以下の基準を満たす必要があります。

• 割り当てられたトラフィック: 参照バリエーションのトラフィック割合は 0% より大きい必要があります。
• 有効ステータス: バリエーションがアクティブである必要があります。

Original バリエーションに 0% のトラフィックを割り当てた場合は、別のバリエーションを参照として選択する必要があります。選択した参照バリエーションにトラフィックがないか無効になっている場合、Kameleoon は次の警告を表示します:「Pick a reference variation with traffic allocated.」

​

参照バリエーションを変更する

参照を別のバリエーションに切り替えるには:

1. Traffic allocation セクションで、参照として使用するバリエーションを見つけます。
2. そのバリエーションの 三点メニュー をクリックします。
3. Set as reference variation を選択します。

バリエーションの横にバッジが表示され、結果ページの参照としてのステータスを示します。

​

目標を定義する

このステップは、統合(レポートツール)を構成していない場合は必須です。 Kameleoon をレポートツールとして使用するために、1 つ以上の目標を選択します。

​

利用可能な目標

Kameleoon をレポートツールとして使用するには、コンバージョン目標を定義します。目標とは、A/B 実験で改善を目指す指標のことです。 Kameleoon は以下の目標タイプをサポートしています。

• エンゲージメント: 訪問者がランディングページの後に他のページを訪問する。
• クリックトラッキング: 訪問者が指定した特定の要素をクリックする。
• スクロールトラッキング: 訪問者がページの特定の部分を超えてスクロールする。
• ページへのアクセス: 訪問者が特定のページに到達する。
• 閲覧ページ数: 訪問者が設定された数のページを訪問する。
• 経過時間: 訪問者が Web サイトに事前定義された時間を費やす。
• カスタム目標: 複雑な指標については、Kameleoon API を使用してカスタム目標を作成できます。

​

新しい目標を作成する

目標を追加する方法については、目標を作成する を参照してください。

​

目標を実験に関連付ける

目標を作成したら、実験に関連付けます。

1. 最終調整ページで、Goals をクリックします。
2. 目標を選択します。
3. このステップを保存するには、Next をクリックします。

​

レポートツールを設定する

このステップは、目標を構成していない場合は必須です。

​

新しい統合を追加する

新しい統合を追加する方法については、統合の概要 を参照してください。

​

実験で統合を有効にする

統合一覧にレポートツールを追加した後、実験に関連付けることができます。 統合を関連付けるには:

1. 最終調整ページで、Integrations をクリックします。
2. ツールを選択します。
3. このステップを保存するには、Next をクリックします。

​

一般設定

このメニューを使用して、実験の全体的な構成を管理します。

• 主要情報
• 実験コード
• 実験カスタムスクリプト
• 詳細設定

​

主要情報

エディタロード URL、タグ、仮説など、実験のコアな詳細をここで管理します。

​

実験コード

このセクションには、Kameleoon がすべてのバリエーションに適用する一般的なコードが含まれています。このコードをオリジナルバリエーションに追加するには、トグルをクリックします。

​

実験カスタムスクリプト

このセクションを使用して、実験全体に適用される JavaScript コードを追加します。このコードは Kameleoon のグローバルスクリプトと共に実行されます。実験が終了すると、Kameleoon はこれらの変更を自動的に削除します。 このスクリプトは、すべての実験コードとバリエーションコードの 前 に実行されます。Kameleoon がロードされるとすぐに、ターゲティング条件に関係なく実行されます。

​

詳細設定

ここから高度な構成オプションにアクセスできます。

​

カスタムアトリビューションウィンドウ

アトリビューションウィンドウを日と時間で定義します。アトリビューションウィンドウとは、Kameleoon が訪問者のコンバージョンや収益を特定のバリエーションに関連付ける期間のことです。デフォルトでは、Kameleoon は Web サイトレベルでアトリビューションウィンドウを設定します。実験を起動する前に、ここでカスタマイズできます。詳細については、Kameleoon がコンバージョンをカウントする方法 を参照してください。

​

表示上限

表示上限の作成方法については、コードエディタの使用 を参照してください。 表示上限は、詳細設定 または Variation メニューで設定できます。詳細設定 セクションでは、設定されているすべての上限の概要を確認できます。

​

JavaScript コードオプション

このオプションを有効にすると、ページが完全にロードされた後に実験の JavaScript コードがロードされます。 これにより、コードの実行前にすべてのページ要素がロードされ、競合を防ぎパフォーマンスが向上します。バリエーションが初期ページレンダリング後にロードされる要素に依存している場合に使用してください。

​

シミュレート

シミュレーションモードを使用して、以下を確認します。

• バリエーションまたはパーソナライゼーションが正しく表示されるか。
• ターゲティングが正しく構成されているか。
• 目標がコンバージョンにつながるか。
• 訪問者に意図したコンテンツが表示されるか。

詳細については、キャンペーンをシミュレートする を参照してください。

​

実験期間を推定する

最終調整パネルで、実験の期間を推定できます。 推定値を生成するために、以下の情報を入力します。

• 1 日の平均訪問者数: テスト対象ページへの 1 日あたりの推定訪問者数。
• 現在のコンバージョン率: 主要目標のベースラインコンバージョン率。
• 最小検出可能効果(MDE): コントロールバリエーションに対する目標指標で識別したい最小の変化。
• 希望する信頼率: 結果を確認するために必要な信頼度(デフォルトは 95%)。この値を上げると偽陽性のリスクは減りますが、より多くの訪問者が必要になります。

エスティメーターは、トラフィック配分とバリエーション数を自動的に考慮します。

​

起動

​

すぐに起動する

必須の最終調整ステップをすべて完了すると、緑のチェックアイコンが表示されます。 Kameleoon では、表示、ターゲティング、目標コンバージョンを検証するため、起動前に実験をシミュレートすることをお勧めします。 準備ができたら、Launch をクリックします。 Configuration summary パネルに実験の設定が表示されます。 設定を変更するには、構成オプションをクリックして Edit を選択します。問題なければ、右下の Launch をクリックします。 これで実験がオンラインになりました。

​

スケジュール

実験には、開始日、終了日、またはその両方をスケジュールできます。 実験をスケジュールするには、三点メニュー をクリックして Schedule を選択します。 または、Configuration summary の下部にある Schedule をクリックします。 Advanced schedule では、タイムゾーンを設定し、実験の終了タイミングを自動化できます。信頼率が設定値で安定したとき、またはトラフィックが定義された閾値に達したときに、自動停止がトリガーされます。 起動前の A/B 実験に終了日を設定することは避けてください。実験を停止するタイミングの主要な指標として信頼率を使用してください。特定のイベントや時間枠に紐づく実験については、終了日を定義できます。結果を分析する前に、必ず信頼率を確認してください。