統計的有意性

​

統計的有意性とは?

​

仮説検定

Kameleoonで実験を開始する際、テストしているバリエーションが元のサイトと比較して特定のメトリックを実際に改善しているかどうかを知りたいと思うはずです。統計用語で言えば、仮説を立て、データを観察することでそれを反証しようとします。 意思決定を支援するために、Kameleoonは頻度論的統計フレームワークを使用します。このフレームワークは、「帰無」仮説が真である場合に観測されたデータがどの程度起こりうるかを評価します。Kameleoonはこの確率を「p値」として計算します。

​

統計的有意性と信頼性

Kameleoonが収集するサンプルデータが、帰無仮説の下でKameleoonが想定するデータと十分に矛盾している場合、実験は統計的に有意です。 実験結果が統計的に有意かどうかの評価を支援するために、Kameleoonは実験の信頼性を次のように計算します: 「信頼性」= 1 - 「p値」

​

例

次の例を考えてください:

• 参照バリエーション: 142,000人のユニーク訪問者がテストされ、3.52%のコンバージョン率(5,000件の販売)
• バリエーション1: 216,000人のユニーク訪問者がテストされ、3.64%のコンバージョン率(1,850件の販売)

この例では、バリエーション1が参照バリエーションよりも良いパフォーマンスを発揮するかどうかを検証します。帰無仮説は、参照がバリエーションと同等以上のパフォーマンスを発揮するというものであり、このテストではその仮説を棄却することを目指します。帰無仮説を誤って棄却するリスクを5%に抑えるために、有意水準を0.05に設定します。 バリエーション1は参照バリエーションよりも優れたパフォーマンスを示し、信頼性は96%に達します。96%は有意水準0.05が要求する95%の信頼性を上回っているため、この結果は統計的に有意です。

​

統計的有意性の確認

レポートツールとしてGoogle AnalyticsとKameleoonのどちらを使用していても、Kameleoonは実験の統計的有意性を自動的に計算するため、バリエーションが参照よりも優れているか劣っているかを確認できます。

​

信頼性

結果ページで、いくつかの方法でキャンペーンの信頼性を確認できます。

​

プライマリゴール

概要メニューのプライマリゴールセクションで、プライマリゴールに対するバリエーションの信頼性率を確認できます。 この例では、両方のバリエーションの信頼性率が99%を超えています。

​

チャート

概要メニューのチャートセクションで、時間経過に伴う信頼性率を視覚的に確認できます。 ドロップダウンメニューを使用して、表示するバリエーションを選択します。デフォルトでは、Kameleoonがすべてのバリエーションを選択します。日、週、月ごとにデータを表示することもできます。チャートにカーソルを合わせると、より多くの信頼性率データを確認できます。

​

メトリクス

メトリクスメニューで信頼性率を確認できます。ゴールまたはバリエーションごとに信頼性率を表示するには、ゴールまたはバリエーションをクリックします。

​

十分な信頼性に達しない場合の対処方法

信頼性率が安定しているが不十分な場合は、次のよくある原因を確認してください:

• ページが受け取るトラフィックが十分ではない。
• オリジナルとバリエーションのパフォーマンスの差が小さすぎて結論を導き出せない。例えば、行った変更が訪問者の行動にほとんど影響を与えていない可能性があります。

ただし、75%で安定した信頼性率からでも結論を導き出すことができます。ページが受け取るトラフィックが十分ではない場合、信頼性率はおそらく95%に達しません。それでも、Kameleoonの結果ページは、オーディエンスを理解するのに役立つ幅広いデータと指標を提供します。