Winsorisierung

​

Was ist Winsorisierung?

Die Winsorisierung ist eine statistische Technik, mit der Extremwerte in Daten begrenzt werden, um den Einfluss von Ausreißern mithilfe von Perzentilen Ihrer Daten zu reduzieren. Ausreißer sind Datenpunkte, die sich erheblich von anderen Beobachtungen unterscheiden und die Ergebnisse Ihrer A/B-Tests verzerren können. Durch die Winsorisierung Ihrer Daten stellen Sie sicher, dass Ihre Ergebnisse robuster und zuverlässiger sind.

​

Warum Winsorisierung im A/B-Testing wichtig ist

Beim A/B-Testing vergleichen wir zwei oder mehr Varianten, um festzustellen, welche besser abschneidet. Ausreißer können die tatsächliche Leistung dieser Varianten verfälschen und zu irreführenden Schlussfolgerungen führen. Durch die Anwendung der Winsorisierung mindern wir den Einfluss dieser Extremwerte und liefern Ihnen genauere und umsetzbare Erkenntnisse. Die Winsorisierung ist besonders nützlich, wenn:

• Ihre Daten Extremwerte enthalten, die keine Fehler sind, sich jedoch dennoch erheblich von anderen Beobachtungen unterscheiden.
• Sie eine einfache und effektive Methode zur Behandlung von Ausreißern suchen, ohne auf komplexere Techniken zurückgreifen zu müssen.
• Sie ein Gleichgewicht zwischen Datenintegrität und einer effektiven Verwaltung von Ausreißern wahren müssen.

​

Risiken und bewährte Verfahren bei der Winsorisierung

Obwohl die Winsorisierung ein wertvolles Werkzeug ist, ist sie nicht ohne Risiken:

• Verlust der Datenintegrität: Eine übermäßige Winsorisierung kann zu einer erheblichen Veränderung Ihrer Daten führen und möglicherweise wichtige Variationen und Muster verdecken.
• Übermäßige Vereinfachung: Durch das Anpassen von Ausreißern können Sie Ihre Daten übermäßig vereinfachen, was zu einem unvollständigen Verständnis Ihres Datensatzes führen kann.
• Einführung von Verzerrungen: Unangemessene Winsorisierungsschwellen können Verzerrungen einführen, Ihre Ergebnisse verfälschen und zu falschen Schlussfolgerungen führen. Wenn Sie keine Symmetrie um den Mittelwert sicherstellen (5. und 95. Perzentil), könnten Sie den Mittelwert verändern.

Um diese Risiken zu mindern, befolgen Sie diese bewährten Verfahren:

• Verstehen Sie Ihre Daten: Bevor Sie die Winsorisierung anwenden, sollten Sie die Beschaffenheit und Verteilung Ihrer Daten gründlich verstehen. Das Verständnis Ihrer Daten hilft Ihnen, geeignete Schwellenwerte zur Identifizierung von Ausreißern festzulegen.
• Legen Sie geeignete Schwellenwerte fest: Verwenden Sie Branchenstandards oder datenspezifische Erkenntnisse, um Ihre Winsorisierungsschwellen festzulegen. Übliche Schwellenwerte umfassen die oberen und unteren 0,1 % bis 5 % Ihrer Daten, sollten jedoch an Ihren spezifischen Anwendungsfall angepasst werden.
• Bewerten Sie die Auswirkungen: Bewerten Sie nach der Anwendung der Winsorisierung deren Auswirkungen auf Ihre Daten und Testergebnisse. Vergleichen Sie die winsorisierten Daten mit den Originaldaten, um sicherzustellen, dass keine wichtigen Informationen verloren gehen.
• Dokumentieren Sie Ihren Prozess: Führen Sie eine detaillierte Aufzeichnung Ihres Winsorisierungsprozesses, einschließlich der Begründung für die gewählten Schwellenwerte und der Auswirkungen auf Ihre Daten. Diese Transparenz unterstützt die Reproduzierbarkeit und das Verständnis.

​

So implementieren Sie die Winsorisierung in Kameleoon

​

1. Ein benutzerdefiniertes Ziel erstellen

Zuerst müssen Sie ein benutzerdefiniertes Ziel erstellen, auf das Sie die Winsorisierung anwenden möchten.

​

2. Grenzen festlegen

Anschließend müssen Sie Grenzen festlegen, um die Ausreißer zu ersetzen. Wenn Sie beispielsweise eine 95%ige Winsorisierung verwenden, werden alle Datenpunkte unterhalb des 2,5. Perzentils auf den Wert des 2,5. Perzentils gesetzt und alle Datenpunkte oberhalb des 97,5. Perzentils auf den Wert des 97,5. Perzentils gesetzt. Diese Grenzen finden Sie in den Advanced Settings Ihres benutzerdefinierten Ziels. Die Winsorisierungsmethode wird, sofern vorhanden, auf Ihren Revenue angewendet. Kameleoon wendet die Winsorisierungsmethode auf Ihr benutzerdefiniertes Ziel an und identifiziert die Ausreißer in Ihren Daten.

​

3. Ihre Ergebnisse lesen

Sobald die Winsorisierung auf Ihr Ziel angewendet wurde, können Sie Ihre angepassten Ergebnisse auf den verschiedenen Ergebnisseiten einsehen, die dieses Ziel enthalten. Der Zielcontainer erhält dann ein Abzeichen, das Sie darauf hinweist, dass Ausreißer für dieses Ziel verarbeitet werden. Wenn Sie mit der Maus über das Abzeichen fahren, werden die von Ihnen festgelegten Parameter angezeigt.

​

Beispiel für die Auswirkungen

Betrachten Sie einen A/B-Test, der zwei Landingpages (A und B) vergleicht. Ohne Winsorisierung könnten einige hochwertige Ausreißer (zum Beispiel Käufe von wenigen sehr ausgabefreudigen Nutzern) dazu führen, dass eine Seite deutlich effektiver erscheint, auch wenn das typische Nutzerverhalten diese Schlussfolgerung nicht stützt.

• Originaldaten (Metrik: Umsatz pro Nutzer):
  • Seite A: [10, 12, 14, 15, 16, 18, 100]
  • Seite B: [11, 13, 15, 15, 17, 19, 110]
• Winsorisierte Daten:
  • Seite A: [10, 12, 14, 15, 16, 18, 18]
  • Seite B: [11, 13, 15, 15, 17, 19, 19]

In diesem Beispiel werden die Extremwerte (100 und 110) begrenzt, was einen genaueren Vergleich des typischen Nutzerumsatzes zwischen den beiden Seiten ermöglicht.

​

Technische Überlegungen

• Wenn Sie diese Methode zum ersten Mal auf Ihr benutzerdefiniertes Ziel anwenden, berechnen und speichern wir die Werte, die den von Ihnen festgelegten Perzentilen entsprechen, und verwenden sie auf den Ergebnisseiten zur Anpassung Ihrer Daten.
• Die zum Begrenzen der Ausreißer verwendeten Perzentilwerte werden einmal täglich um 2:00 Uhr aktualisiert. Beachten Sie, dass diese Werte sofort neu bewertet werden, wenn Sie die Schwellenwerte in den Zieleinstellungen ändern.
• Beachten Sie, dass die Rohdaten nicht verändert werden. Sie finden Ihre Rohdaten weiterhin, wenn Sie einen Rohdaten-Export anfordern.