Abweichungen bei der Besuchsanzahl in begrenzten Experimenten verstehen

Wenn Sie Anzeigebegrenzungen (Capping) in Ihren Feature Flags oder Experimenten verwenden, erscheint die Gesamtzahl der für Ihre Varianten erfassten Besuche im Vergleich zur Originalversion oft ungleichmäßig. Wenn Sie feststellen, dass die Originalversion deutlich mehr Besuche hat als die Variante, ist dieses Verhalten zu erwarten und weist nicht auf einen Fehler in Ihrer Experiment-Einrichtung hin, wie z. B. einen Sample Ratio Mismatch (SRM). Verwenden Sie diese Anleitung, um genau zu verstehen, warum Capping diesen Unterschied in den Besuchsanzahlen erzeugt und warum Sie sich stattdessen auf die Anzahl der eindeutigen Besucher konzentrieren sollten.

​

Die Auswirkung von Anzeigebegrenzungen auf Experimentdaten

In fortgeschrittenen Setups wird eine Anzeigebegrenzung häufig erreicht, indem ein Benutzer dynamisch einem Ausschluss-Segment hinzugefügt wird, nachdem er die Variante einmal gesehen hat. Dies geschieht üblicherweise, indem ein benutzerdefinierter Datenwert oder ein Local-Storage-Wert für den Besucher gesetzt wird. Sie können auch Anzeigebegrenzungen im Code-Editor für Experimente konfigurieren und ähnliche Capping-Limits für Personalisierungen festlegen.

​

Beispiel: Pop-up-Anzeigebegrenzungen und Besuchsanzahlen

Angenommen, Sie konfigurieren ein Experiment, bei dem die Variante ein Marketing-Pop-up anzeigt, das Original jedoch nicht. Um die Nutzer nicht zu verärgern, verwenden Sie eine Anzeigebegrenzung, um das Pop-up nur einmal im Monat anzuzeigen. Diese Konfiguration führt häufig zu einer Diskrepanz bei der Gesamtzahl der erfassten Besuche (Sitzungen), obwohl die Anzahl der eindeutigen Besucher ausgeglichen bleibt.

​

Original: Keine Auslösung der Anzeigebegrenzung

Wenn Kameleoon einen Besucher der Original-Version zuweist:

• Das Pop-up wird nie angezeigt.
• Da das Pop-up nie angezeigt wird, wird die Begrenzung „einmal pro Monat” nie aktiviert.
• Das System verfolgt diesen Besucher bei jedem nachfolgenden Seitenaufruf oder wiederkehrenden Besuch.

Ergebnis: Das Original verzeichnet eine hohe Anzahl an Gesamtbesuchen, weil das Tracking durch nichts eingeschränkt wird.

​

Variante: Die Anzeigebegrenzung greift

Wenn Kameleoon einen Besucher der Variante zuweist:

• Beim ersten Besuch sieht der Besucher das Pop-up.
• Das System erfasst, dass die Anzeigebegrenzung (1/1) erreicht wurde.
• Beim nächsten Besuch verhindert die Anzeigebegrenzung, dass das Pop-up angezeigt wird. Abhängig von Ihrer Konfiguration kann das System diese nachfolgenden Besuche möglicherweise nicht mehr als Teil der aktiven Experimentexposition zählen.

​

Die Diskrepanz bei der Besuchsanzahl

Dieses Szenario erzeugt eine ausgewogene Aufteilung auf der Ebene der eindeutigen Besucher, aber ein erhebliches Ungleichgewicht auf der Ebene der Gesamtbesuche.

• Original: Ein Besucher kann 10 Besuche generieren.
• Variante: Ein Besucher kann nur einen erfassten Besuch generieren.

​

Dies ist kein Sample Ratio Mismatch

Es ist üblich, einen Konfigurationsfehler zu vermuten, wenn Sie einen großen Unterschied in den Besuchsanzahlen sehen. Wenn die Anzahl der eindeutigen Besucher jedoch gleich ist, handelt es sich nicht um einen Sample Ratio Mismatch (SRM).

• Was ist ein SRM? Ein SRM ist ein statistischer Fehler, bei dem die anfängliche Zuweisung der eindeutigen Besucher nicht mit Ihrer konfigurierten Aufteilung übereinstimmt (z. B. 50/50). Ein SRM weist normalerweise auf ein Tracking- oder technisches Problem hin.
• Was passiert hier? Die Anzeigebegrenzung funktioniert wie beabsichtigt. Sie begrenzt die Exposition der Variante, was die Gesamtzahl der Besuche für diese Variante natürlich reduziert. Das Original bleibt unbegrenzt, da es kein Element gibt, das begrenzt werden müsste.

Bestätigen Sie Ihre Experimentaufteilung immer anhand der Anzahl der eindeutigen Besucher. Wenn die Anzahl der eindeutigen Besucher gemäß Ihrer Konfiguration ausgeglichen ist, läuft Ihr Experiment korrekt.