Statistische Signifikanz

​

Was ist statistische Signifikanz?

​

Hypothesentest

Wenn Sie ein Experiment in Kameleoon starten, möchten Sie wissen, ob die von Ihnen getestete Variante eine bestimmte Metrik im Vergleich zu Ihrer ursprünglichen Website tatsächlich verbessert. In statistischer Sprache formulieren Sie dazu eine Hypothese und versuchen anschließend, sie durch die Beobachtung von Daten zu widerlegen. Um Sie bei der Entscheidung zu unterstützen, verwendet Kameleoon den frequentistischen statistischen Rahmen, der beurteilt, wie wahrscheinlich die beobachteten Daten sind, wenn die „Null”-Hypothese zutrifft. Kameleoon berechnet diese Wahrscheinlichkeit als den „p-Wert”.

​

Statistische Signifikanz und Zuverlässigkeit

Ein Experiment ist statistisch signifikant, wenn die von Kameleoon erhobenen Stichprobendaten ausreichend inkonsistent mit den Daten sind, die Kameleoon unter der Nullhypothese erwarten würde. Um Ihnen bei der Bewertung zu helfen, ob ein Experimentergebnis statistisch signifikant ist, berechnet Kameleoon die Zuverlässigkeit des Experiments wie folgt: „Zuverlässigkeit” = 1 - „p-Wert”

​

Beispiel

Betrachten Sie das folgende Beispiel:

• Referenzvariante: 142.000 getestete eindeutige Besucher, 3,52 % Konversionsrate (5.000 Verkäufe)
• Variante 1: 216.000 getestete eindeutige Besucher, 3,64 % Konversionsrate (1.850 Verkäufe)

Dieses Beispiel testet, ob Variante 1 besser abschneidet als die Referenzvariante. Die Nullhypothese besagt, dass die Referenz genauso gut oder besser abschneidet als die Variante, und der Test zielt darauf ab, sie zu widerlegen. Legen Sie ein Signifikanzniveau von 0,05 fest, um das Risiko, die Nullhypothese fälschlicherweise abzulehnen, auf 5 % der Fälle zu begrenzen. Variante 1 schneidet besser ab als die Referenzvariante, und die Zuverlässigkeit erreicht 96 %. Da 96 % die 95 % Zuverlässigkeit übersteigen, die ein Signifikanzniveau von 0,05 erfordert, ist das Ergebnis statistisch signifikant.

​

Überprüfung der statistischen Signifikanz

Unabhängig davon, ob Sie Google Analytics oder Kameleoon als Reporting-Tool verwenden, berechnet Kameleoon automatisch die statistische Signifikanz Ihres Experiments, sodass Sie überprüfen können, ob eine Variante besser oder schlechter abschneidet als die Referenz.

​

Zuverlässigkeit

Überprüfen Sie die Zuverlässigkeit Ihrer Kampagne auf der Seite Ergebnisse auf verschiedene Weise.

​

Primäres Ziel

Der Abschnitt Primary goal des Menüs Overview listet die Zuverlässigkeitsrate Ihrer Variante für das primäre Ziel auf. In diesem Beispiel überschreitet die Zuverlässigkeitsrate für beide Varianten 99 %.

​

Diagramme

Der Abschnitt Charts des Menüs Overview zeigt eine visuelle Darstellung der Zuverlässigkeitsrate im Zeitverlauf. Verwenden Sie das Dropdown-Menü, um auszuwählen, welche Varianten angezeigt werden; standardmäßig wählt Kameleoon alle Varianten aus. Sie können die Daten auch nach Day, Week oder Month anzeigen. Fahren Sie mit dem Mauszeiger über das Diagramm, um weitere Daten zur Zuverlässigkeitsrate anzuzeigen.

​

Metriken

Das Menü Metrics zeigt die Zuverlässigkeitsraten an. Klicken Sie auf Goals oder Variations, um die Zuverlässigkeitsrate nach Ziel oder Variante anzuzeigen.

​

Was zu tun ist, wenn Sie keine ausreichende Zuverlässigkeit erreichen

Wenn Ihre Zuverlässigkeitsrate stabil, aber unzureichend ist, kommen folgende häufige Ursachen in Betracht:

• Die Seite erhält nicht genug Traffic.
• Der Unterschied zwischen der Leistung des Originals und der Leistung der Variante ist zu gering, um Schlussfolgerungen zu ziehen. Beispielsweise hat die von Ihnen vorgenommene Änderung möglicherweise nur sehr geringen Einfluss auf das Verhalten der Besucher.

Sie können jedoch bereits ab einer Zuverlässigkeitsrate, die sich bei 75 % stabilisiert, Schlussfolgerungen ziehen. Wenn die Seite nicht genug Traffic erhält, erreicht die Zuverlässigkeitsrate wahrscheinlich nicht 95 %. Trotzdem bietet die Ergebnisseite von Kameleoon weiterhin eine breite Vielfalt an Daten und Indikatoren, die Ihnen helfen, Ihre Zielgruppe zu verstehen.