Dieser Artikel behandelt die Theorie hinter sich gegenseitig ausschließenden Gruppen. Eine Anleitung zur Einrichtung finden Sie unter Eine sich gegenseitig ausschließende Gruppe für Web-Experimente erstellen, Eine sich gegenseitig ausschließende Gruppe für Feature-Experimente erstellen oder Eine sich gegenseitig ausschließende Gruppe über Client-Side- und Server-Side-Experimente hinweg erstellen.
Was ist eine sich gegenseitig ausschließende Gruppe?
Mit einer sich gegenseitig ausschließenden Gruppe erstellen Sie Gruppen von Kampagnen oder Experimenten, in denen jeder Besucher nur von einem Mitglied dieser Gruppe angesprochen wird. Diese Art der Gruppierung ist hilfreich, wann immer mehrere Tests andernfalls miteinander in Konflikt geraten könnten, zum Beispiel wenn mehrere Teams Experimente auf derselben Seite durchführen. MEGs funktionieren für Web-Experimente und Feature-Experimente auf die gleiche Weise: Die Technologie, die jedes Experiment auslöst, unterscheidet sich, aber die Gruppierungs- und Bucketing-Logik hinter einer MEG bleibt gleich.Wann Kameleoon einen Besucher einer Gruppe zuweist
Kameleoon weist einen Besucher einer sich gegenseitig ausschließenden Gruppe zu, noch bevor es andere Targeting- oder Bucketing-Entscheidungen für Experimente trifft. Diese Zuweisung erfolgt zu Beginn des Besuchs, sodass die Gruppenzugehörigkeit des Besuchers bereits feststeht, wenn Kameleoon Targeting-Bedingungen auswertet oder Traffic für die einzelnen Kampagnen oder Experimente in dieser Gruppe zuteilt. Um ein konsistentes Erlebnis zu gewährleisten, bleibt ein Besucher, der zuvor einer Kampagne oder einem Experiment innerhalb einer Gruppe zugewiesen wurde, für den Rest des Besuchs dieser Kampagne oder diesem Experiment zugewiesen. Andernfalls wählt Kameleoon die Kampagne oder das Experiment, die innerhalb der Gruppe angezeigt wird, zufällig aus und sorgt so für eine gleichmäßige Verteilung unter den Mitgliedern der Gruppe.Vorteile
Eine sich gegenseitig ausschließende Gruppe verhindert, dass sich überschneidende Kampagnen oder Experimente sich gegenseitig beeinflussen:- Klarere Ergebnisse: Vermeidet widersprüchliche Daten, da Besucher innerhalb jeder Gruppe nur eine Kampagne oder ein Experiment sehen.
- Bessere Besuchererfahrung: Reduziert die Ermüdung der Besucher, die entsteht, wenn sie mehreren Änderungen gleichzeitig ausgesetzt sind, und schafft so ein reibungsloseres Erlebnis.
- Einfachere Einrichtung für Feature-Experimente: Das Durchsetzen der gegenseitigen Ausschließlichkeit über eine MEG erfordert keine zusätzlichen Targeting-Bedingungen und lässt sich deshalb einfacher über Feature Flags mit Experimentregeln hinweg umsetzen.
Nachteile
Eine sich gegenseitig ausschließende Gruppe hat einen bedeutenden Nachteil: Sie können die kombinierte Performance der Besucher, die den Experimenten innerhalb der Gruppe ausgesetzt waren, nicht messen. Wenn Sie beispielsweise drei Experimente in einer sich gegenseitig ausschließenden Gruppe durchführen, für jedes eine Gewinner-Variation ermitteln und später alle drei Gewinner-Variationen gleichzeitig ausrollen, zeigen Ihnen die ursprünglichen Experimente nicht, wie diese Gewinner im Zusammenspiel abschneiden. Interaktionseffekte zwischen ihnen, positiv oder negativ, werden nie gemessen. Aus diesem Grund besteht beim gleichzeitigen Durchführen von Experimenten ohne Messung ihres kombinierten Effekts das Risiko, Änderungen auszurollen, die im Zusammenspiel schlecht funktionieren, selbst wenn jede Änderung isoliert betrachtet wie ein Erfolg aussah. Weitere Informationen zu diesem Risiko finden Sie in Ronny Kohavis Diskussion über das gleichzeitige Durchführen von A/B-Tests. Wägen Sie diesen Kompromiss ab, bevor Sie Kampagnen oder Experimente gruppieren, die Sie später möglicherweise gemeinsam ausrollen und als Kombination bewerten möchten.Beispiel für eine sich gegenseitig ausschließende Gruppe
Stellen Sie sich vor, Sie haben zwei Gruppen von Kampagnen, die auf die Homepage Ihrer Website abzielen:- Gruppe A: Kampagne 1 (neues Homepage-Layout) und Kampagne 2 (hervorgehobene „Buy Now”-Schaltfläche)
- Gruppe B: Kampagne 3 (vereinfachte Navigation) und Kampagne 4 (aktualisierte Produktbeschreibungen)
- Ein Besucher sieht entweder Kampagne 1 oder Kampagne 2 aus Gruppe A, aber nicht beide.
- Derselbe Besucher kann entweder Kampagne 3 oder Kampagne 4 aus Gruppe B sehen, aber nicht beide.
Gruppenübergreifende Exposition
Eine sich gegenseitig ausschließende Gruppe verhindert Überschneidungen nur innerhalb derselben Gruppe. Kameleoon kann Besucher gleichzeitig einer Kampagne aus Gruppe A und einer Kampagne aus Gruppe B aussetzen. Zum Beispiel könnte ein Besucher eine dieser Kombinationen erleben:- Kampagne 1 (aus Gruppe A) und Kampagne 3 (aus Gruppe B)
- Kampagne 1 (aus Gruppe A) und Kampagne 4 (aus Gruppe B)
- Kampagne 2 (aus Gruppe A) und Kampagne 3 (aus Gruppe B)
- Kampagne 2 (aus Gruppe A) und Kampagne 4 (aus Gruppe B)
Wie Expositionsprozentsätze mit einer MEG interagieren
Wenn Kampagnen oder Experimente derselben sich gegenseitig ausschließenden Gruppe angehören, wendet Kameleoon ihre individuell festgelegten Expositionsprozentsätze nicht unabhängig auf den gesamten Traffic der jeweiligen Kampagne oder des jeweiligen Experiments an. Die MEG entscheidet zuerst, für welche einzelne Kampagne oder welches einzelne Experiment ein Besucher innerhalb der Gruppe in Frage kommt, und wendet danach den eigenen Expositionsprozentsatz dieser Kampagne oder dieses Experiments auf diese Zuweisung an. Jede Kampagne oder jedes Experiment in einer MEG erhält ungefähr einen gleichen Anteil der berechtigten Gruppenpopulation, zum Beispiel ein Drittel, wenn die Gruppe drei Mitglieder enthält, unabhängig von den individuellen Expositionseinstellungen.Beispiel
Stellen Sie sich drei Kampagnen in derselben MEG vor, die jeweils auf einer anderen Seite laufen, die 200.000 Anfragen erhält:
Das Ergebnis ist nicht 20k, 60k und 120k. Dieses Ergebnis würde voraussetzen, dass jede Kampagne den gesamten Traffic ihrer Seite erhält, bevor der Expositionsprozentsatz angewendet wird, was nicht der Funktionsweise einer MEG entspricht.
Da eine MEG den berechtigten Traffic auf die Gruppe aufteilt, bevor die Exposition angewendet wird, eignen sich MEGs am besten für Kampagnen oder Experimente, die sich überschneiden können und gegenseitig ausschließend gemacht werden müssen, typischerweise für Kampagnen, die auf derselben Seite oder Oberfläche laufen.
Sich gegenseitig ausschließende Gruppen sind im Simulationsmodus deaktiviert.