Zum Hauptinhalt springen
In einer Multi-Kampagnen-Umgebung kann es schwierig sein, die tatsächliche Wirkung von Änderungen zu verstehen, insbesondere wenn sich Experimente überschneiden. Kameleoons Holdouts lösen dies, indem sie eine Kontrollgruppe erstellen, die von aktiven Kampagnen unbeeinflusst bleibt. Mit dieser Funktion können Sie eine verlässliche Baseline etablieren, um die Gesamtwirkung aller Änderungen gegenüber einer Gruppe zu messen, die keine Änderungen erfährt. In diesem Artikel werden wir untersuchen, wie Holdouts funktionieren, warum sie für eine aussagekräftige Analyse wertvoll sind und wie Sie sie in Kameleoon einrichten.
Dieser Artikel erläutert Holdouts für Web Experimentation. Um Holdouts für Feature Experimentation zu verwenden, lesen Sie dieses Hilfedokument.

​
Was ist ein Holdout?

Ein Holdout ist eine Kontrollgruppe in Kameleoon, die keine Experimente oder Änderungen sieht. Er wird verwendet, um eine Baseline zu schaffen, an der Sie die Gesamtwirkung aller aktiven Experimente messen können. Anstatt einzelne Testgruppen zu vergleichen, ermöglicht Ihnen ein Holdout, den kumulativen Effekt aller Änderungen auf das Benutzerengagement oder andere Metriken zu messen.

​
Hauptvorteile

In einem typischen A/B-Test vergleichen Sie Benutzer, die ein einzelnes Experiment sehen, mit denen, die es nicht sehen. Wenn jedoch mehrere Experimente laufen, können sich die Ergebnisse überschneiden und sich gegenseitig beeinflussen, was es schwierig macht, den Gesamteffekt der Änderungen zu erkennen. Ein Holdout löst dies durch:
  • Bereitstellung einer Baseline: Die Holdout-Gruppe erhält keine Experimente und schafft so einen klaren Vergleichspunkt.
  • Messung der Gesamtwirkung: Mit einem Holdout können Sie sehen, ob die Gesamtwirkung Ihrer Änderungen positiv ist, indem Sie sie mit einer Gruppe vergleichen, die keine davon sieht.

​
Beispiel für einen Holdout

Stellen Sie sich eine E-Commerce-Website vor, die drei Experimente durchführt: Änderung der Knopffarben, Aktualisierung der Produktbilder und Hinzufügen eines „Top Picks”-Abschnitts. Die Holdout-Gruppe würde:
  • Die Originalversionen jedes dieser Elemente sehen (keine Änderungen angewendet).
  • Als Baseline dienen, um zu verstehen, ob der kumulative Effekt dieser Änderungen die Conversion-Raten oder das Engagement tatsächlich verbessert.

​
Einen Holdout in Kameleoon einrichten

  1. Erstellen Sie ein neues Experiment: Richten Sie ein Experiment in Kameleoon ein und wenden Sie das Tag „HOLDOUT” an.
  2. Traffic-Aufteilung festlegen: Teilen Sie Ihren Traffic so auf, dass eine Gruppe (Control) keine Experimente sieht und die andere (Variation) jedem Experiment zugewiesen werden kann (sofern sie die Targeting-Kriterien erfüllt).
  3. Ziele hinzufügen: Definieren Sie die Ziele, die Sie im Experiment verfolgen möchten. Diese Ziele sind entscheidend, um die Leistung der Holdout-Gruppe mit der Leistung der Besucher zu vergleichen, die nicht im Holdout sind.
  4. Starten Sie Ihr Experiment: Sobald das Holdout-Experiment erstellt und gestartet wurde, ist keine weitere Einrichtung erforderlich. Überwachen Sie einfach seine Leistung im Laufe der Zeit, indem Sie die Results-Seite des als Holdout markierten Experiments überprüfen.
Ihre Kontrollgruppe, die keine Änderungen sieht, wird zu Ihrer Baseline, um die Gesamtwirkung der Experimente zu messen, die der Variationsgruppe angezeigt werden.

​
Bewährte Praktiken

  • Traffic-Zuweisung: Wir empfehlen, einen Holdout mit maximal 10 % ausgeschlossenem Traffic über einen begrenzten Zeitraum, typischerweise drei bis sechs Monate, zu erstellen. Diese Zuweisung gewährleistet eine verlässliche Baseline, ohne den Gesamttraffic stark zu beeinträchtigen.
  • Einfache Segmentierung: Sie können mehrere Holdout-Gruppen für verschiedene Segmente einrichten, z. B. eine für Desktop und eine andere für Mobile. Es ist jedoch am besten, übermäßig komplexe Targeting-Regeln für einen Holdout zu vermeiden, um Klarheit und Wirksamkeit zu erhalten.