Zum Hauptinhalt springen
Mit Holdouts können Sie die langfristigen Auswirkungen von Produkt-Updates messen, indem Sie eine Benutzergruppe von diesen Änderungen ausschließen, was die Analyse wichtiger Kennzahlen im Laufe der Zeit erleichtert. Dieser Artikel erklärt, wie Sie Holdouts in Kameleoon einrichten und überwachen.

​
Holdouts einrichten

Dieser Artikel konzentriert sich auf Holdouts für Feature Experimentation. Informationen zur Verwendung von Holdouts für Web Experimentation finden Sie in diesem Artikel.
Um zu beginnen, gehen Sie zum Feature Experimentation-Dashboard und klicken Sie auf das Drei-Punkte-Menü in der oberen rechten Ecke > Holdouts. Das Holdouts-Panel wird geöffnet.
Im Panel sehen Sie eine Liste Ihrer Kameleoon-Projekte, jeweils mit einer Zusammenfassung des Holdout-Status. Standardmäßig zeigen alle Projekte unter dem Holdout-Status Not set an.
So konfigurieren Sie einen Holdout:
  1. Klicken Sie auf ein Projekt.
  2. Aktivieren Sie einen Holdout, indem Sie ihn einschalten.
  3. Legen Sie die Traffic-Aufteilung fest — typischerweise zwischen 1-10 %. Die Traffic-Aufteilung ist der Prozentsatz der Benutzer, die während der Aktivierung des Holdouts von allen Experimenten und Rollouts ausgeschlossen werden.
  4. Wählen Sie die wichtigsten Ziele aus, die Sie verfolgen möchten. Dies sollten Kennzahlen sein, die Ihr Team langfristig wertschätzt, da der Holdout sie in einer vollständig isolierten Umgebung misst, die von Produkt-Updates nicht beeinflusst wird.
Sobald Sie die Konfiguration abgeschlossen haben, klicken Sie auf Save, um Ihre Änderungen anzuwenden und zum Dashboard zurückzukehren. Wenn Sie das Holdouts-Panel erneut öffnen, sehen Sie eine Zusammenfassung, die zeigt, welche Holdouts konfiguriert wurden und ob Ergebnisse verfügbar sind.
So zeigen Sie Holdout-Ergebnisse an:
Klicken Sie auf ein Projekt und wählen Sie Results am unteren Rand des Panels aus. Eine dedizierte Berichtsseite wird geöffnet, auf der Sie:
  • Trends in Ihren ausgewählten Kennzahlen überwachen können.
  • Erkenntnisse mit Ihren Produkt-, Daten- und Engineering-Teams teilen können.
  • Die langfristigen Auswirkungen Ihrer Änderungen analysieren können.

​
Best Practices

  • Testansätze unterscheiden: Verwenden Sie A/B-Tests, um sofortige Benutzerreaktionen zu messen, und Holdout-Tests, um die langfristigen Auswirkungen von Produkt-Updates zu bewerten. Planen Sie die Dauer Ihrer Holdouts unter Berücksichtigung dieser Unterscheidung.
  • Fokus auf wichtige Kennzahlen: Priorisieren Sie langfristige Indikatoren wie Engagement, Retention und Umsatz. Vermeiden Sie es, sich bei der Bewertung der Holdout-Performance ausschließlich auf kurzfristige Kennzahlen zu verlassen.
  • Förderung der teamübergreifenden Zusammenarbeit: Pflegen Sie eine aktive Kommunikation zwischen Produktmanagern, Data Scientists und Ingenieuren, um sicherzustellen, dass Holdouts ordnungsgemäß konfiguriert, überwacht und analysiert werden.
  • Achten Sie auf die Holdout-Dauer: Balancieren Sie den Bedarf an langfristigen Erkenntnissen mit der Benutzererfahrung aus. Benutzer zu lange in einem Holdout zu halten — ohne Updates — kann zu Unzufriedenheit führen.