Was ist ein Sample Ratio Mismatch
Ein Sample Ratio Mismatch (SRM) tritt auf, wenn die tatsächliche Verteilung der Testpersonen auf die Varianten eines Experiments nicht mit der beabsichtigten Verteilung übereinstimmt. Das bedeutet, dass eine Variante deutlich mehr oder weniger Traffic erhält als erwartet. Ein SRM führt zu einer ungleichmäßigen Traffic-Verteilung zwischen den Varianten, unabhängig davon, ob Sie den Traffic gleichmäßig aufteilen. Beispiel: Sie starten eine Kampagne mit einer Traffic-Aufteilung von 50 % für das Original und 50 % für die Variante. Wenn die Daten 50.000 Besucher für das Original und 48.900 für die Variante anzeigen, kennzeichnet der nativ in die Anwendung integrierte SRM-Erkennungstest von Kameleoon die Ergebnisse als positiv für einen Sample Ratio Mismatch. Kameleoon erkennt einen SRM, indem ein Chi-Quadrat-Anpassungstest durchgeführt wird, um zu bestimmen, ob eine Variable mit einer bestimmten Verteilung übereinstimmt. Kameleoon verwendet einen Schwellenwert von 0,001 für den p-Wert; ein Experiment wird als SRM-positiv eingestuft, wenn der p-Wert unter diesen Schwellenwert fällt.
Warum ist der SRM relevant?
Ein SRM weist auf eine Verzerrung beim Mechanismus der Traffic-Zuweisung im Experiment hin. Diese Verzerrung kann die Ergebnisse des Experiments ungültig machen, da sie die zentralen Hypothesen verletzt, die den statistischen Berechnungen eines A/B-Tests zugrunde liegen. Dieses Problem ist besonders relevant für Websites mit hohem Traffic, bei denen selbst kleine Abweichungen die Ergebnisse erheblich beeinflussen und zu Fehlentscheidungen führen können. Die In-App-SRM-Warnung von Kameleoon ermöglicht Entscheidungen, die auf statistischen Tests statt auf Intuition basieren.Was tun, wenn ein Experiment positiv für SRM ist
Sie müssen die Ergebnisse eines Experiments nicht sofort verwerfen, wenn Sie einen SRM erkennen. Wenn Sie die Ursache des SRM identifizieren und die Abweichung nach dem Herausfiltern der problematischen Besucher verschwindet, können Sie dennoch gültige Schlussfolgerungen ziehen. Ein SRM tritt häufig auf, wenn ein Browser einen Besucher aufgrund einer Inkompatibilität des Varianten-Codes falsch klassifiziert. Folglich sieht der Besucher die Referenz statt der Variante, und das System erfasst keine Expositionsdaten. So beheben Sie dieses Problem:- Öffnen Sie die Seite Ergebnisse des Experiments. Pausieren Sie das Experiment zunächst, um die weitere Erhebung verzerrter Daten zu verhindern.
- Scrollen Sie zu einem Ziel und klicken Sie auf Breakdown.
- Wenden Sie einen Breakdown-Filter auf alle Ziele an.
- Prüfen Sie in den Breakdown-Berichten, ob die Breakdown-Variable die Traffic-Zuweisung beeinflusst. Prüfen Sie Device type, Browser, Operating system und alle verfügbaren benutzerdefinierten Daten. Wenn die Berichte die Abweichung zeigen, haben Sie die für den SRM verantwortliche Variable identifiziert. Andernfalls wenden Sie weiterhin Breakdown-Filter an, bis Sie die Ursache identifiziert haben.
- Wenden Sie einen Filter auf die Experiment-Ergebnisse an, um die von der fehlerhaften Zuweisung betroffenen Besucher auszuschließen. Mit den gefilterten Ergebnissen können Sie die siegreiche Variante bestimmen.
Was verursacht einen SRM?
Die Ursachen eines SRM variieren zwischen Experimenten, Organisationen und Benutzern. Verwenden Sie die folgende Checkliste, um ein Experiment zu untersuchen, das positiv für SRM ist:- Eindeutige Bezeichner prüfen: Stellen Sie sicher, dass Sie einen starken eindeutigen Bezeichner für Besucher verwenden. Standardmäßig verwendet Kameleoon eine eindeutige Besucher-ID (Kameleoon
visitorCode). Kameleoon hasht diesen Code im Zuweisungsalgorithmus, um zufällig eine Variante auszuwählen. Wenn Sie nicht den Standard-Besuchercode oder benutzerdefinierte Daten zur Zuordnung einer Benutzer-ID verwenden, muss die ID aus mindestens 16 zufälligen Zeichen (Kleinbuchstaben und Ziffern) bestehen. - Ausführungsverzögerungen überprüfen: Stellen Sie sicher, dass keine Verzögerungen die Ausführung der Variante beeinträchtigen. Eine Variante kann beispielsweise auf eine Seite weiterleiten, auf der Kameleoon nicht installiert ist.
- Benutzerdefinierte Zuweisungsskripte überprüfen: Stellen Sie fest, ob das Experiment Skripte zur benutzerdefinierten Variantenzuweisung verwendet. Diese Skripte umgehen den Standard-Zuweisungsalgorithmus und können einen SRM verursachen.
- Konfigurationsänderungen prüfen: Das Aktualisieren der Testabweichung, das Löschen einer Variante oder eine Neuzuweisung des Traffics kann eine SRM-Warnung auslösen.