Über die Bayesian-Methode
Im Gegensatz zum frequentistischen Ansatz, der die zu schätzenden Parameter als unbekannte Konstanten behandelt, modelliert der Bayesian-Ansatz jeden Parameter als Zufallsvariable. Die Methode verdankt ihren Namen der Bayes-Regel, die es Ihnen ermöglicht, Größen zu berechnen, die der frequentistische Rahmen nicht liefern kann. Die Bayes-Regel kombiniert Ihre Experimentergebnisse mit allen verfügbaren Vorinformationen. Kameleoons A/B-Tests verwenden jedoch standardmäßig nicht-informative Priors. Durch die Wahl der A-priori-Verteilung können Sie die daraus resultierende A-posteriori-Verteilung nutzen, um Werte zu berechnen, wie zum Beispiel die Wahrscheinlichkeit, dass eine Variante das Original verbessert.Bayesian-Methode aktivieren
Wenn Sie im Dashboard auf Ergebnisse klicken, zeigt Kameleoon standardmäßig die klassische Ergebnisseite an. So aktivieren Sie die Bayesian-Statistikmethode für ein Experiment:- Öffnen Sie das Experiment und klicken Sie in der Seitenleiste auf den Tab Data.
- Klicken Sie unter Statistical methods auf Bayesian.
- Klicken Sie auf Apply.
Sie können nicht auf die Bayesian-Ergebnisseite zugreifen, wenn Sie 100 % des Traffics auf das Original umleiten oder wenn das Experiment keine Besucher hat.
Die Bayesian-Ergebnisseite
Die Struktur der Bayesian-Reporting-Seite ähnelt der klassischen Ergebnisseite. Einige Elemente unterscheiden sich jedoch:- Neue Indikatoren erscheinen, wie die Wahrscheinlichkeit, die Originalvariation zu schlagen, und die Zuverlässigkeit der Ergebnisse gemäß Bayes.
- Mehrere Diagramme erscheinen nicht auf der Seite, und die Seite zeigt nur die Conversion-Rate an.
Definitionen
Wahrscheinlichkeit, das Original zu schlagen
Dieser Wert stellt die Wahrscheinlichkeit dar, dass eine Variation die Originalseite mit einer höheren Conversion-Rate für ein bestimmtes Ziel übertrifft. Wenn Sie dem Original 0 % des Traffics zuweisen, erhalten die Variationen 100 % des Traffics und konkurrieren nicht mit dem Original. In diesem Fall wird der Indikator zur Wahrscheinlichkeit, die Gewinner-Variation zu sein.Kontinuierliche Bayesian-Metriken
Wenn Sie den Mauszeiger über nicht-binomiale Metriken bewegen (wie Umsatz pro Besuch/Besucher oder durchschnittlicher Warenkorbwert), wird eine Überlagerung angezeigt.
- Verbesserungsrate: Dieser Wert gibt die Verbesserungsrate für die Metrik an. Er erscheint in Grün, wenn positiv, und in Rot, wenn negativ, zusammen mit einem Glaubwürdigkeitsintervall.
- Wahrscheinlichkeit, die Referenz zu schlagen: Dieser Wert zeigt die Wahrscheinlichkeit, dass die Variation die Kontrollvariation übertrifft. Er erscheint in Grün, wenn er höher ist als der in der Konfiguration festgelegte Zuverlässigkeitsschwellenwert; andernfalls erscheint er in Rot.
- Tabelle des Glaubwürdigkeitsintervalls: Die Min- und Max-Werte definieren die Grenzen des Glaubwürdigkeitsintervalls um die Verbesserungsrate. Es besteht eine Wahrscheinlichkeit von 95 %, dass die Verbesserungsrate zwischen diesen Werten liegt. Die Werte erscheinen in Grün, wenn positiv, und in Rot, wenn negativ.