Über die Bayesian-Methode
Der Bayesian-Ansatz betrachtet die zu schätzenden Parameter als unbekannte Konstanten. Kameleoon modelliert jeden Parameter als Zufallsvariable. Die Methode hat ihren Namen von der Bayes-Regel und ermöglicht es Ihnen, Größen zu berechnen, die im frequentistischen Rahmen nicht verfügbar sind. Die Bayes-Regel kombiniert Experimentergebnisse mit allen verfügbaren Vorinformationen; A/B-Tests verwenden jedoch nicht-informative Priors. Durch die Wahl der A-priori-Verteilung können Sie die A-posteriori-Verteilung nutzen, um Werte wie die Wahrscheinlichkeit zu berechnen, dass eine Variante das Original verbessert.Auf Bayesian-Ergebnisse zugreifen
Wenn Sie im Dashboard auf Ergebnisse klicken, zeigt Kameleoon standardmäßig die klassische Ergebnisseite an. So greifen Sie auf Ergebnisse zu, die von Bayesian-Statistiken generiert wurden:- Klicken Sie auf das Menü Aktionen oben rechts auf der Seite.
- Wählen Sie Bayesian aktivieren.
Sie können nicht auf die Bayesian-Ergebnisseite zugreifen, wenn Sie 100 % des Traffics auf das Original umleiten oder wenn das Experiment keine Besucher hat.
Die Bayesian-Ergebnisseite
Die Struktur der Bayesian-Reporting-Seite ähnelt der klassischen Ergebnisseite. Einige Elemente unterscheiden sich jedoch:- Neue Indikatoren erscheinen, wie die Wahrscheinlichkeit, die Originalvariation zu schlagen, und die Zuverlässigkeit der Ergebnisse gemäß Bayes.
- Mehrere Diagramme erscheinen nicht auf der Seite, und die Seite zeigt nur die Conversion-Rate an.
Definitionen
Wahrscheinlichkeit, das Original zu schlagen
Dieser Wert stellt die Wahrscheinlichkeit dar, dass eine Variation die Originalseite mit einer höheren Conversion-Rate für ein bestimmtes Ziel übertrifft. Wenn Sie dem Original 0 % des Traffics zuweisen, erhalten die Variationen 100 % des Traffics und konkurrieren nicht mit dem Original. In diesem Fall wird der Indikator zur Wahrscheinlichkeit, die Gewinner-Variation zu sein.Bayesian-kontinuierliche Metriken
Wenn Sie den Mauszeiger über nicht-binomiale Metriken bewegen (wie Umsatz pro Besuch/Besucher oder durchschnittlicher Warenkorbwert), wird eine Überlagerung angezeigt.
- Verbesserungsrate: Dieser Wert gibt die Verbesserungsrate für die Metrik an. Er erscheint in Grün, wenn positiv, und in Rot, wenn negativ, zusammen mit einem Glaubwürdigkeitsintervall.
- Wahrscheinlichkeit, die Referenz zu schlagen: Dieser Wert zeigt die Wahrscheinlichkeit, dass die Variation die Kontrollvariation übertrifft. Er erscheint in Grün, wenn er höher ist als der in der Konfiguration festgelegte Zuverlässigkeitsschwellenwert; andernfalls erscheint er in Rot.
- Tabelle des Glaubwürdigkeitsintervalls: Die Min- und Max-Werte definieren die Grenzen des Glaubwürdigkeitsintervalls um die Verbesserungsrate. Es besteht eine Wahrscheinlichkeit von 95 %, dass die Verbesserungsrate zwischen diesen Werten liegt. Die Werte erscheinen in Grün, wenn positiv, und in Rot, wenn negativ.