Was ist Winsorisierung?
Die Winsorisierung ist eine statistische Technik, die Extremwerte in Ihren Daten mithilfe von Perzentilen begrenzt und so den Einfluss von Ausreißern reduziert. Ausreißer sind Datenpunkte, die sich erheblich von anderen Beobachtungen unterscheiden und die Ergebnisse Ihrer A/B-Tests verzerren können. Die Winsorisierung Ihrer Daten macht Ihre Ergebnisse robuster und zuverlässiger.Warum Winsorisierung im A/B-Testing wichtig ist
Beim A/B-Testing vergleichen Sie zwei oder mehr Varianten, um festzustellen, welche besser abschneidet. Ausreißer können die tatsächliche Leistung dieser Varianten verfälschen und zu irreführenden Schlussfolgerungen führen. Die Anwendung der Winsorisierung mindert den Einfluss dieser Extremwerte und liefert Ihnen genauere, umsetzbare Erkenntnisse. Die Winsorisierung ist besonders nützlich, wenn:- Ihre Daten Extremwerte enthalten, die keine Fehler sind, sich jedoch dennoch erheblich von anderen Beobachtungen unterscheiden.
- Sie eine einfache und effektive Methode zur Behandlung von Ausreißern suchen, ohne auf komplexere Techniken zurückgreifen zu müssen.
- Sie ein Gleichgewicht zwischen Datenintegrität und einer effektiven Verwaltung von Ausreißern wahren müssen.
Risiken und bewährte Verfahren bei der Winsorisierung
Die Winsorisierung ist ein wertvolles Werkzeug, birgt jedoch Risiken:- Verlust der Datenintegrität: Eine übermäßige Winsorisierung kann zu einer erheblichen Veränderung Ihrer Daten führen und möglicherweise wichtige Variationen und Muster verdecken.
- Übermäßige Vereinfachung: Durch das Anpassen von Ausreißern können Sie Ihre Daten übermäßig vereinfachen, was zu einem unvollständigen Verständnis Ihres Datensatzes führen kann.
- Einführung von Verzerrungen: Unangemessene Winsorisierungsschwellen können Verzerrungen einführen, Ihre Ergebnisse verfälschen und zu falschen Schlussfolgerungen führen. Wenn Sie keine Symmetrie um den Mittelwert sicherstellen, etwa durch Verwendung des 5. und 95. Perzentils, könnten Sie den Mittelwert verändern.
- Verstehen Sie Ihre Daten: Bevor Sie die Winsorisierung anwenden, sollten Sie die Beschaffenheit und Verteilung Ihrer Daten gründlich verstehen. Das Verständnis Ihrer Daten hilft Ihnen, geeignete Schwellenwerte zur Identifizierung von Ausreißern festzulegen.
- Legen Sie geeignete Schwellenwerte fest: Verwenden Sie Branchenstandards oder datenspezifische Erkenntnisse, um Ihre Winsorisierungsschwellen festzulegen. Übliche Schwellenwerte umfassen die oberen und unteren 0,1 % bis 5 % Ihrer Daten, sollten jedoch an Ihren spezifischen Anwendungsfall angepasst werden.
- Bewerten Sie die Auswirkungen: Bewerten Sie nach der Anwendung der Winsorisierung deren Auswirkungen auf Ihre Daten und Testergebnisse. Vergleichen Sie die winsorisierten Daten mit den Originaldaten, um sicherzustellen, dass keine wichtigen Informationen verloren gehen.
- Dokumentieren Sie Ihren Prozess: Führen Sie eine detaillierte Aufzeichnung Ihres Winsorisierungsprozesses, einschließlich der Begründung für die gewählten Schwellenwerte und der Auswirkungen auf Ihre Daten. Diese Transparenz unterstützt die Reproduzierbarkeit und das Verständnis.
So implementieren Sie die Winsorisierung in Kameleoon
1. Ein benutzerdefiniertes Ziel erstellen
Erstellen Sie ein benutzerdefiniertes Ziel, um die Winsorisierung darauf anzuwenden.2. Grenzen festlegen
Legen Sie Grenzen fest, um die Ausreißer zu ersetzen. Wenn Sie beispielsweise eine 95%ige Winsorisierung verwenden, setzt Kameleoon jeden Datenpunkt unterhalb des 2,5. Perzentils auf den Wert des 2,5. Perzentils und jeden Datenpunkt oberhalb des 97,5. Perzentils auf den Wert des 97,5. Perzentils. Diese Grenzen finden Sie in den Erweiterten Einstellungen Ihres benutzerdefinierten Ziels. Wenn Ihr benutzerdefiniertes Ziel eine Revenue-Metrik enthält, wendet Kameleoon die Winsorisierung darauf an. Kameleoon berechnet diese Perzentile über alle Kontodaten des Ziels, nicht pro Experiment. Weitere Informationen finden Sie unter Umfang der Schwellenwerte.
3. Ihre Ergebnisse lesen
Sobald Sie die Winsorisierung auf Ihr Ziel angewendet haben, können Sie die angepassten Ergebnisse auf jeder Ergebnisseite einsehen, die dieses Ziel enthält. Der Zielcontainer zeigt dann ein Abzeichen an, das darauf hinweist, dass Kameleoon Ausreißer für dieses Ziel verarbeitet. Fahren Sie mit der Maus über das Abzeichen, um die von Ihnen festgelegten Parameter anzuzeigen.
Beispiel für die Auswirkungen
Betrachten Sie einen A/B-Test, der zwei Landingpages (A und B) vergleicht. Ohne Winsorisierung könnten einige hochwertige Ausreißer (zum Beispiel Käufe von wenigen sehr ausgabefreudigen Nutzern) dazu führen, dass eine Seite deutlich effektiver erscheint, auch wenn das typische Nutzerverhalten diese Schlussfolgerung nicht stützt.- Originaldaten (Metrik: Umsatz pro Nutzer):
- Seite A:
[10, 12, 14, 15, 16, 18, 100] - Seite B:
[11, 13, 15, 15, 17, 19, 110]
- Seite A:
- Winsorisierte Daten:
- Seite A:
[10, 12, 14, 15, 16, 18, 18] - Seite B:
[11, 13, 15, 15, 17, 19, 19]
- Seite A: