ベイズ

​

ベイズ手法について

ベイズアプローチは、推定したいパラメータを未知の定数として扱います。Kameleoonは各パラメータをランダム変数としてモデル化します。この手法はベイズの定理から名前を取り、頻度論的フレームワークでは利用できない量を計算できるようにします。 ベイズの定理は実験結果と利用可能な事前情報を組み合わせますが、A/Bテストでは非情報的事前分布を使用します。事前分布を選択することで、事後分布を活用してバリアントがオリジナルを改善する確率などの値を計算できます。

​

ベイズ結果へのアクセス

ダッシュボードで結果をクリックすると、Kameleoonはデフォルトでクラシック結果ページを表示します。 ベイズ統計によって生成された結果にアクセスするには:

1. ページ右上のアクションメニューをクリックします。
2. ベイズを有効にするを選択します。

​

ベイズ結果ページ

ベイズレポートページの構造はクラシック結果ページと似ています。ただし、いくつかの要素が異なります:

• オリジナルバリエーションを上回る確率やベイズによる結果の信頼性など、新しい指標が表示されます。
• いくつかのグラフはページに表示されず、ページにはコンバージョン率のみが表示されます。

​

定義

​

オリジナルを上回る確率

この値は、特定のゴールにおいて、バリエーションがオリジナルページよりも高いコンバージョン率を達成する確率を表します。 オリジナルにトラフィックの0%を割り当てた場合、バリエーションがトラフィックの100%を受け取り、オリジナルとは競合しません。この場合、指標は勝者バリエーションである確率になります。

​

ベイズの連続メトリクス

非二項メトリクス(訪問/訪問者あたりの収益や平均カート金額など)にカーソルを合わせると、オーバーレイが表示されます。

• 改善率: この値はメトリックの改善率を示します。ポジティブの場合は緑、ネガティブの場合は赤で表示され、信頼区間が併記されます。
• 参照より勝つ確率: この値は、バリエーションがコントロールバリエーションを上回る確率を示します。設定で設定された信頼性のしきい値より高い場合は緑、それ以外の場合は赤で表示されます。
• 信頼区間テーブル: 最小値と最大値は、改善率の信頼区間の境界を定義します。改善率がこれらの値の間に収まる確率は95%です。ポジティブの場合は緑、ネガティブの場合は赤で表示されます。

​

結果の違い

両方の統計手法は同等の結果を生成しますが、完全な類似性を保証するものではありません。一部のレートに違いが見られる場合があります。場合によっては、同じ実験で異なるバリエーションが勝者として宣言される可能性があります。 データを比較する前に、両方の手法で信頼レベルが最大に達していることを確認してください。両方が最大で疑問が残る場合は、クラシック手法の結果を使用してください。

​

さらに詳しく

Kameleoon統計エンジンの詳細については、Kameleoon統計ペーパーをお読みください。