統計的有意性

​

統計的有意性とは?

​

仮説検定

Kameleoonで実験を開始するとき、テストしているバリエーションが実際に元のサイトと比較して特定のメトリックを改善しているかどうかを知りたいと思います。これを統計用語で表現すると、仮説を立て、それをデータの観測によって反証しようとしています。 意思決定を支援するために、Kameleoonは頻度論的統計フレームワークを使用しており、「帰無」仮説が真である場合に観測されたデータがどの程度起こりうるかを評価します。この確率は「p値」によって計算されます。

​

統計的有意性と信頼性

Kameleoonが収集するサンプルデータが、帰無仮説の下で観測されるべきだったデータと十分に矛盾している場合、実験は統計的に有意です。 実験結果が統計的に有意かどうかの評価を支援するために、Kameleoonは次のように計算される実験の信頼性を提供します: 「信頼性」= 1 - 「p値」

​

例

以下の例を見てみましょう:

• 参照バリエーション: 142,000人のユニーク訪問者がテストされ、3.52%のコンバージョン率(5,000件の販売)
• バリエーション1: 216,000人のユニーク訪問者がテストされ、3.64%のコンバージョン率(1,850件の販売)

この例では、バリエーション1が参照バリエーションよりも効率的かどうかをテストしています。帰無仮説は参照がバリエーションと同等またはそれ以下の効率であるというものであり、これを棄却しようとしています。帰無仮説を誤って棄却する確率が5%だけになるよう自信を持ちたいので、有意水準を0.05に設定します。 バリエーション1が参照バリエーションよりも効率的であることに気づき、信頼性は96%です。実験の結果は、有意水準5%で統計的に有意です。

​

統計的有意性の確認

レポートツールとしてGoogle AnalyticsまたはKameleoonを使用している場合、Kameleoonは実験の統計的有意性を自動的に計算し、実験の1つのバリエーションが参照よりも効果的かどうかを確認できます。

​

信頼性

結果ページでは、キャンペーンのパフォーマンスを確認できます。信頼性を確認する方法は複数あります。

​

プライマリゴール

プライマリゴールに対するバリエーションの信頼性率は、概要メニューのプライマリゴールセクションにリストされます。 ここでは、両方のバリエーションの信頼性率は**>99%**です。

​

チャート

概要メニューのチャートセクションで、時間経過に伴う信頼性率の視覚的表現を表示できます。 ドロップダウンメニューを使用して、表示するバリエーションを選択できます(デフォルトではすべてのバリエーションが選択されています)。日、週、月ごとにデータを表示することもできます。チャートにカーソルを合わせると、より多くの信頼性率データを表示できます。

​

メトリクス

信頼性率はメトリクスメニューに表示されます。ゴールまたはバリエーションごとに信頼性率を表示するには、ゴールまたはバリエーションをクリックします。

​

十分な信頼性が達成されない場合はどうすればよいか?

信頼性率が安定しているが不十分な場合、いくつかの問題が考えられます。その中には:

• ページのトラフィックが不十分。
• オリジナルとバリエーションのパフォーマンスの差が小さすぎて結論を出せない(例: あなたが行った変更が訪問者の行動に非常に小さな影響しか与えない)。

ただし、75%で安定した信頼性率からウェブサイトの結論を導き出すことができます。ページのトラフィックが不十分な場合、信頼性率はおそらく95%に達しません。しかし、Kameleoonの結果ページは、オーディエンスを理解するのに役立つ幅広いデータと指標を提供します。