ベイズ

​

ベイズ手法について

推定したいパラメータを未知の定数として扱う頻度論的アプローチとは異なり、ベイズアプローチは各パラメータをランダム変数としてモデル化します。この手法はベイズの定理から名前を取り、頻度論的フレームワークでは得られない量を計算できるようにします。 ベイズの定理は実験結果と利用可能な事前情報を組み合わせます。ただし、KameleoonのA/Bテストではデフォルトで非情報的事前分布を使用します。事前分布を選択することで、得られる事後分布を活用して、バリエーションがオリジナルを改善する確率などの値を計算できます。

​

ベイズ手法を有効にする

ダッシュボードで結果をクリックすると、Kameleoonはデフォルトでクラシック結果ページを表示します。 実験でベイズ統計手法を有効にするには:

1. 実験を開き、サイドバーのDataタブをクリックします。
2. Statistical methodsの下にあるBayesianをクリックします。
3. Applyをクリックします。

その後、結果ページには、クラシック手法の代わりにベイズ統計によって生成された結果が表示されます。

​

ベイズ結果ページ

ベイズレポートページの構造はクラシック結果ページと似ています。ただし、いくつかの要素が異なります:

• オリジナルバリエーションを上回る確率やベイズによる結果の信頼性など、新しい指標が表示されます。
• いくつかのグラフはページに表示されず、ページにはコンバージョン率のみが表示されます。

​

定義

​

オリジナルを上回る確率

この値は、特定のゴールにおいて、バリエーションがオリジナルページよりも高いコンバージョン率を達成する確率を表します。 オリジナルにトラフィックの0%を割り当てた場合、バリエーションがトラフィックの100%を受け取り、オリジナルとは競合しません。この場合、指標は勝者バリエーションである確率になります。

​

ベイズの連続メトリクス

非二項メトリクス(訪問/訪問者あたりの収益や平均カート金額など)にカーソルを合わせると、オーバーレイが表示されます。

• 改善率: この値はメトリックの改善率を示します。ポジティブの場合は緑、ネガティブの場合は赤で表示され、信頼区間が併記されます。
• 参照より勝つ確率: この値は、バリエーションがコントロールバリエーションを上回る確率を示します。設定で設定された信頼性のしきい値より高い場合は緑、それ以外の場合は赤で表示されます。
• 信頼区間テーブル: 最小値と最大値は、改善率の信頼区間の境界を定義します。改善率がこれらの値の間に収まる確率は95%です。ポジティブの場合は緑、ネガティブの場合は赤で表示されます。

​

結果の違い

ベイズ手法とクラシック(頻度論的)手法は原理的には同等の結果を生成しますが、常に同じ出力になるとは限りません。一部のレートに違いが見られる場合があります。場合によっては、同じ実験で両手法が異なるバリエーションを勝者として宣言することもあります。 データを比較する前に、両方の手法で信頼レベルが最大に達していることを確認してください。両方が最大で疑問が残る場合は、クラシック手法の結果を使用してください。

​

さらに詳しく

Kameleoon統計エンジンの詳細については、Kameleoon統計ペーパーをお読みください。