多変量テストのセットアップ

A/B テストと多変量テストの違いの詳細については、Kameleoon Academy のコース Get started with web experimentation をご覧ください。

​

多変量テストとは

クラシックな A/B テストはページの 2 つのバージョンを比較します。多変量テスト（MVT）は、複数のページ要素の複数のバリエーションを同時にテストして、コンバージョンを最大化する組み合わせを見つけます。 たとえば、2 色（赤とオレンジ）と 2 つの文言（Shop と Add to cart）でコールトゥアクション（CTA）ボタンをテストしたいとします。1 つの MVT で、可能な 6 つの組み合わせすべてをテストして比較できます。

​

MVT 用語集

• 多変量テスト: 複数の要素の 1 つまたは複数の組み合わせのコンバージョンを測定する実験です。
• セクション: 1 つの要素に対するバリエーションのグループです。
• バリエーション: 特定の要素に対して提案される変更です。MVT には、セクションにまとめられた複数のバリエーションを含めることができます。
• 組み合わせ: 公開された訪問者に表示される、異なるセクションのバリエーションの集合です。

​

多変量テストを作成する

多変量テストを作成するには:

1. New experiment > In the graphic editor をクリックします。
2. Experiment type ドロップダウンから Graphic MVT を選択します。
3. 必要な情報を入力し、Continue をクリックします。

​

セクションとバリエーションを設定する

各セクションは 1 つの要素のバリエーションをまとめたものです。次の例では、CTA の色と文言をテストします。2 色（赤とオレンジ）と 2 つの文言（Shop と Add to cart）があります。 色をテストするには、リファレンスバージョンと red および orange のバリエーションを含む最初のセクション（Color という名前の Section A）を作成します。 文言をテストするには、リファレンスバージョンと Shop および Add to cart のバリエーションを含む 2 番目のセクション（Wording という名前の Section B）を作成します。 Create をクリックします。Graphic editor の MVT バージョンが開きます。

​

MVT エディターを使用する

A/B 実験と同じ方法でバリエーションのコンテンツを作成できます。ただし、MVT エディターは少し異なります。

​

セクション

左側のパネルでセクションをクリックして選択します。次のオプションが利用できます:

• 複製アイコンをクリックして、セクションを複製します。
• 3 点メニューをクリックすると、次の操作ができます:
  • セクションの名前を変更する。
  • セクションを削除する。

​

バリエーション

選択したセクションのバリエーションが左側のパネルに表示されます。次のオプションが利用できます:

• 複製アイコンをクリックして、バリエーションを複製します。
• 3 点メニューをクリックすると、次の操作ができます:
  • バリエーションの名前を変更する。
  • バリエーションにカスタムコード（JavaScript または CSS）を追加する。
  • 新しいタブでバリエーションをプレビューする。
  • ページ上の単語を検索して置換する。
  • バリエーションを削除する。

セクションのすべてのバリエーションを削除すると、セクション自体も削除されます。 Kameleoon は、設計したバリエーションから可能なすべての組み合わせを自動的に作成します。完全実施要因計画を使用して、すべての組み合わせを同時にテストします。

​

トラフィックを割り当てる

MVT 実験でのトラフィック割り当ての詳細については、Kameleoon Academy のコース How to finalize your web experiment をご覧ください。 バリエーションを作成したら、クラシックな A/B 実験と同じ方法で実験を確定します。唯一の違いは、実験のトラフィック配分です。

​

実験のトラフィック割り当て

実験のトラフィック割り当てを管理するには、Exclude a percentage of the exposed visitors の横にあるスライダーをクリックしてドラッグし、希望のパーセンテージに設定します。

​

公開された訪問者へのトラフィック割り当て

公開された訪問者にトラフィックを配分する方法として、次の 2 つのいずれかを選択する必要があります:

• セクション別: 各セクション内の各バリエーションのトラフィック割合を設定します。Kameleoon は、各組み合わせに含まれるバリエーションの割合から、その組み合わせのトラフィックを算出します。赤の CTA をオレンジよりも多くの訪問者に表示するなど、個々のバリエーションに重み付けをしたい場合は、Sections タブを使用します。
• 組み合わせ別: 各組み合わせ全体のトラフィック割合を直接設定します。特定のペアを除外または強化するなど、特定の組み合わせを正確にコントロールしたい場合は、Combinations タブを使用します。

2 つのタブは独立しています。一方のタブで配分を編集しても、もう一方には影響せず、実験に適用されるのは 1 つだけです。Kameleoon は、Launch をクリックした時点で選択されているタブを使用します。デフォルトでは、Sections タブが選択されています。

​

セクション別にトラフィックを配分する

Sections をクリックして、セクション別にトラフィックを配分します。バリエーションの横にあるチェックボックスをオンにすると、実験に含まれます。 バリエーションのトラフィック割り当てを編集するには、次のいずれかを行います:

• バリエーションのスライダーをクリックしてドラッグする。
• テキストフィールドにパーセンテージを入力する。

南京錠をクリックすると、バリエーションのトラフィック割り当てがロックされます。もう一度南京錠をクリックすると、ロックが解除されます。 次の例では、公開された訪問者の 30% が赤の CTA を、40% がオレンジの CTA を見ることになります。 Allocate equally をクリックすると、トラフィックがバリエーション間で均等に配分されます。Allocate equally をクリックすると、それまでの変更は元に戻ります。

​

組み合わせ別にトラフィックを配分する

Combinations をクリックして、作成した組み合わせに基づいてトラフィックを配分します。 CTA の色と文言をテストしたいとします。その場合、A（色）と B（文言）の 2 つのセクションを作成します。 生成される組み合わせには、次の名前が付けられます:

• A0B0 Original / Original
• A0B1 Original / Add to cart
• A1B0 Red / Original
• A1B1 Red / Add to cart
• A2B0 Orange / Original
• A2B1 Orange / Add to cart

Combinations タブで組み合わせを除外できます。たとえば、背景色とテキスト色の両方を変更する MVT では、背景色とテキスト色が同じになる組み合わせを除外できます。 組み合わせの横にあるチェックボックスをオンにすると、実験に含まれます。 組み合わせのトラフィック割り当てを編集するには、次のいずれかを行います:

• 組み合わせのスライダーをクリックしてドラッグする。
• テキストフィールドにパーセンテージを入力する。

南京錠をクリックすると、組み合わせのトラフィック割り当てがロックされます。もう一度南京錠をクリックすると、ロックが解除されます。 Allocate equally をクリックすると、トラフィックが組み合わせ間で均等に配分されます。Allocate equally をクリックすると、それまでの変更は元に戻ります。

​

MVT のシミュレーション、開始、分析

バリエーションを作成してトラフィックを配分したら、シミュレーション、開始、分析は A/B 実験と同じように機能します。

​

MVT をシミュレーションする

Kameleoon は、公開前に実験をシミュレーションすることを推奨しています。 シミュレーションパネルは、実験の組み合わせを生成します。Currently displayed in simulation をクリックして、選択した組み合わせの表示を確認します。 詳細については、シミュレーションモードに関する記事をお読みください。

​

MVT を開始する

すべてが正しく表示され、ターゲティング、ゴール、レポートツールの設定が完了していれば、開始する準備は整っています。Launch をクリックします。

​

結果を分析する

レポートツールとして Kameleoon を選択した場合、MVT の結果は A/B 実験の Results ページに転送されます。各組み合わせは、クラシックな A/B 実験で定義されているバリエーションとして扱われます。