Statistische Signifikanz

​

Was ist statistische Signifikanz?

​

Hypothesentest

Wenn Sie ein Experiment in Kameleoon starten, möchten Sie wissen, ob die getestete Variante tatsächlich eine bestimmte Metrik im Vergleich zu Ihrer ursprünglichen Website verbessert. Formuliert man dies in statistischer Sprache, stellen Sie eine Hypothese auf, die Sie anschließend durch die Beobachtung von Daten zu widerlegen versuchen. Um Sie bei der Entscheidung zu unterstützen, verwendet Kameleoon den frequentistischen statistischen Rahmen, der hilft zu beurteilen, wie wahrscheinlich die beobachteten Daten sind, wenn die „Null”-Hypothese wahr ist. Diese Wahrscheinlichkeit wird durch den „p-Wert” berechnet..

​

Statistische Signifikanz und Zuverlässigkeit

Ein Experiment ist statistisch signifikant, wenn die von Kameleoon erhobenen Stichprobendaten ausreichend inkonsistent mit den Daten sind, die Kameleoon unter der Nullhypothese hätte beobachten sollen. Um Ihnen bei der Bewertung zu helfen, ob ein Experiment-Ergebnis statistisch signifikant ist, stellt Kameleoon die Zuverlässigkeit des Experiments bereit, die wie folgt berechnet wird: „Zuverlässigkeit” = 1 - „p-Wert”

​

Beispiel

Betrachten wir das folgende Beispiel:

• Referenzvariante: 142.000 getestete eindeutige Besucher, 3,52 % Konversionsrate (5.000 Verkäufe)
• Variante 1: 216.000 getestete eindeutige Besucher, 3,64 % Konversionsrate (1.850 Verkäufe)

In diesem Beispiel testen wir, ob Variante 1 effizienter ist als die Referenzvariante. Wir versuchen, die Nullhypothese zu verwerfen, nämlich dass die Referenz gleich oder weniger effizient ist als die Variante. Wir sind bereit, die Nullhypothese nur in 5 % der Fälle fälschlicherweise zu verwerfen, daher setzen wir unser Signifikanzniveau auf 0,05. Wir stellen fest, dass Variante 1 effizienter ist als die Referenzvariante und die Zuverlässigkeit beträgt 96 %: Das Ergebnis des Experiments ist auf unserem Signifikanzniveau von 5 % statistisch signifikant.

​

Überprüfung der statistischen Signifikanz

Wenn Sie Google Analytics oder Kameleoon als Reporting-Tool verwenden, berechnet Kameleoon automatisch die statistische Signifikanz Ihres Experiments, sodass Sie überprüfen können, ob eine Variante Ihres Experiments mehr oder weniger effektiv ist als die Referenz.

​

Zuverlässigkeit

Auf der Seite Ergebnisse können Sie die Leistung Ihrer Kampagne überprüfen. Es gibt mehrere Möglichkeiten, die Zuverlässigkeit zu überprüfen.

​

Primäres Ziel

Die Zuverlässigkeitsrate Ihrer Variante in Bezug auf das primäre Ziel wird im Abschnitt Primary goal des Menüs Overview angezeigt. Hier beträgt die Zuverlässigkeitsrate für beide Varianten >99 %.

​

Diagramme

Eine visuelle Darstellung der Zuverlässigkeitsrate im Zeitverlauf finden Sie im Abschnitt Charts des Menüs Overview. Über das Dropdown-Menü können Sie auswählen, welche Varianten angezeigt werden (standardmäßig sind alle Varianten ausgewählt). Sie können auch wählen, ob Sie die Daten nach Day, Week oder Month anzeigen möchten. Fahren Sie mit dem Mauszeiger über das Diagramm, um weitere Daten zur Zuverlässigkeitsrate anzuzeigen.

​

Metriken

Die Zuverlässigkeitsraten werden im Menü Metrics angezeigt. Klicken Sie auf Goals oder Variations, um die Zuverlässigkeitsrate nach Ziel oder Variante anzuzeigen.

​

Was können Sie tun, wenn keine ausreichende Zuverlässigkeit erreicht wird?

Wenn Ihre Zuverlässigkeitsrate stabil, aber unzureichend ist, können verschiedene Probleme dafür verantwortlich sein. Dazu gehören:

• Der Traffic auf der Seite ist nicht ausreichend.
• Der Unterschied zwischen der Leistung des Originals und der Variante ist zu gering, um Schlussfolgerungen zu ziehen (zum Beispiel hat die von Ihnen vorgenommene Änderung nur einen sehr geringen Einfluss auf das Verhalten Ihrer Besucher).

Sie können jedoch ab einer auf 75 % stabilisierten Zuverlässigkeitsrate Schlussfolgerungen für Ihre Website ziehen. Wenn der Traffic auf der Seite nicht ausreicht, wird Ihre Zuverlässigkeitsrate wahrscheinlich nicht 95 % erreichen. Die Ergebnisseite von Kameleoon bietet jedoch eine breite Vielfalt an Daten und Indikatoren, die Ihnen helfen, Ihre Zielgruppe besser zu verstehen.