​

Ein Experiment finalisieren

Sehen Sie sich dieses Video in der Kameleoon Academy an, um die Unterschiede zwischen A/B- und multivariate-Tests kennenzulernen.

​

Auf die Finalisierungsseite zugreifen

Nachdem Sie Ihre Variationen erstellt haben, können Sie Ihr Experiment starten. Klicken Sie auf der rechten Seite des Headers auf Finalize. Dadurch wird die Finalisierungsseite geöffnet, auf der Sie diese Schritte vor dem Start abschließen:

• Targeting definieren
• Traffic den Variationen zuweisen
• Ziele definieren (Pflicht, sofern Sie nicht Integrations konfigurieren)
• Integrationen verknüpfen (Pflicht, sofern Sie nicht Goals konfigurieren)
• Ihr Experiment simulieren (optional)

Auf der Finalisierungsseite können Sie außerdem:

• Die Experimentdauer schätzen
• Das Experiment planen

​

Targeting definieren

Targeting ist der erste Schritt zur Finalisierung Ihres A/B-Experiments. Weitere Informationen finden Sie unter Targeting Ihres Experiments definieren.

​

Traffic verteilen

Der zweite Schritt ist die Traffic-Zuweisung. Standardmäßig verteilt Kameleoon den Traffic gleichmäßig auf die Variationen, aber Sie können diese Einstellung ändern. In diesem Beispiel zeigt Kameleoon jede Variation 33,33 % der Besucher an. So ändern Sie die Traffic-Zuweisung:

• Klicken und ziehen Sie den Schieberegler neben einer Variation.
• ODER klicken Sie auf die Zahl neben einem Schieberegler und geben Sie einen Prozentsatz ein.

Um diesen Schritt zu speichern und fortzufahren, klicken Sie auf Next.

​

Ausgeschlossener Traffic

Kameleoon weist Traffic, der keiner Variation zugewiesen ist, automatisch Excluded traffic zu. Diese Besucher sehen die Originalversion Ihrer Seite.

​

Gleiche Zuweisung pro Variation

Geben Sie den Gesamtprozentsatz des Traffics an, der auf Experimentvariationen umgeleitet werden soll. Wenn Sie beispielsweise drei Variationen haben und eine Umleitung von 75 % festlegen, weist Kameleoon 25 % des Gesamtverkehrs der Originalseite und 25 % jeder Variation zu.

​

Unterschiedliche Zuweisung pro Variation

Um jeder Variation unterschiedliche Prozentsätze zuzuweisen, verwenden Sie die Schieberegler, um die Werte anzupassen. Sie können auch auf den Prozentwert klicken und einen neuen eingeben. Um zu einer gleichmäßigen Verteilung zurückzukehren, klicken Sie unter der Liste der Variationen auf Allocate equally.

​

Zuweisungsmethode

Wählen Sie eine Traffic-Zuweisungsmethode aus dem Dropdown-Menü:

• Manual: Legen Sie manuell eine statische Traffic-Zuweisung für Ihre Besucher fest.
• Multi-armed Bandit: Kameleoon passt die Traffic-Zuweisung automatisch basierend auf der Variationsleistung an.
• Contextual Bandit: Kameleoon personalisiert Variationen basierend auf spezifischen Besucherattributen und wählt dynamisch die beste Variation für jeden Besucher aus.

​

Contextual Bandits

Contextual Bandits verwenden maschinelles Lernen, um die Traffic-Zuweisung dynamisch zu optimieren. Sie passen sich in Echtzeit an, um den Traffic basierend auf der Variationsleistung und dem Benutzerkontext neu zu verteilen. Das Verständnis der Unterschiede zwischen Multi-Armed Bandits und Contextual Bandits hilft Ihnen, die beste Methode für Ihre Experimente zu wählen:

• Multi-Armed Bandits:
  • Optimieren die Traffic-Verteilung über Variationen, um ein bestimmtes Ziel zu maximieren, wie z. B. Klicks oder Conversions.
  • Behandeln alle Benutzer gleich und unterscheiden nicht zwischen Benutzerattributen.
  • Ideal, wenn benutzerspezifische Daten nicht verfügbar oder nicht notwendig sind, und Sie die leistungsstärkste Variation für die gesamte Zielgruppe finden möchten.
• Contextual Bandits:
  • Beziehen zusätzliche benutzerspezifische Daten wie Gerätetyp, Standort oder Verhalten in die Entscheidungsfindung ein.
  • Passen Variationen für bestimmte Benutzer an, um verbesserte, personalisierte Ergebnisse zu erzielen.
  • Optimieren Entscheidungen in dynamischen Umgebungen, indem sie Benutzerattribute nutzen.

Um mehr darüber zu erfahren, wie Kameleoons Contextual Bandits funktionieren, lesen Sie das statistische Whitepaper von Kameleoon.

Contextual Bandits konfigurieren

So aktivieren Sie Contextual Bandits:

1. Navigieren Sie zum Finalization-Panel.
2. Klicken Sie auf Traffic allocation.
3. Wählen Sie im Dropdown-Menü Select the allocation method die Option Contextual bandit.

Standardmäßig optimiert der Algorithmus den Traffic basierend auf vordefinierten Benutzerattributen in Kameleoon. Um die volle Leistung der Contextual Bandits zu nutzen, stellen Sie benutzerdefinierte Daten als Eingabe für das Machine-Learning-Modell bereit. Benutzerdefinierte Daten helfen dem Algorithmus, genauere Vorhersagen auf der Grundlage geschäftsspezifischer Attribute wie CRM-Segmenten, Kaufhistorie oder In-App-Verhalten zu treffen. Custom Data Premium erfordert das Add-on AI Predictive Targeting. So verwenden Sie benutzerdefinierte Daten in Ihrem Experiment:

1. Öffnen Sie das Konfigurationspanel für benutzerdefinierte Daten.
2. Aktivieren Sie Use this custom data as input for AI Predictive Targeting.

Der Algorithmus von Kameleoon verwendet diese Attribute dann, um jedem Besucher die relevanteste Variation anzubieten. Um mehr über AI Predictive Targeting zu erfahren, siehe AI Predictive Targeting.

​

Erweiterte Neuzuweisung

Verwenden Sie Advanced reallocation, um Traffic auf die Variationen Ihres Experiments neu zu verteilen. Wenn Sie diese Funktion anwenden, setzt Kameleoon die Traffic-Zuweisung zurück und behandelt wiederkehrende Besucher als neue Besucher. Dies ist nützlich, um sich auf bestimmte Variationen zu konzentrieren oder andere von zusätzlichem Traffic auszuschließen. Klicken Sie oben rechts im Schritt der Traffic-Verteilung auf Advanced reallocation. Wählen Sie im Panel aus, welche Variationen im neu zugewiesenen Traffic enthalten sein sollen. Die Neuzuweisung wird wirksam, nachdem Sie auf Reallocate und dann oben rechts auf der Seite auf Save klicken.

​

Eine Referenzvariation festlegen

Wenn Sie Experimentergebnisse analysieren, verwendet Kameleoon eine Referenzvariation, um den Leistungs-Uplift anderer Variationen zu berechnen. Standardmäßig legt Kameleoon die Variation Original als Referenz fest.

​

Anforderungen für Referenzvariationen

Um eine genaue Berichterstellung zu gewährleisten, muss eine Referenzvariation die folgenden Kriterien erfüllen:

• Zugewiesener Traffic: Die Referenzvariation muss einen Traffic-Prozentsatz größer als 0 % haben.
• Aktivierter Status: Die Variation muss aktiv sein.

Wenn Sie der Original-Variation 0 % Traffic zuweisen, müssen Sie eine andere Variation als Referenz auswählen. Wenn der ausgewählten Referenzvariation kein Traffic zugewiesen oder sie deaktiviert ist, zeigt Kameleoon eine Warnung an: „Pick a reference variation with traffic allocated.”

​

Die Referenzvariation ändern

So wechseln Sie die Referenz zu einer anderen Variation:

1. Suchen Sie im Abschnitt Traffic allocation die Variation, die Sie als Referenz verwenden möchten.
2. Klicken Sie auf das Drei-Punkte-Menü dieser Variation.
3. Wählen Sie Set as reference variation.

Ein Abzeichen erscheint neben der Variation, um ihren Status als Referenz für die Ergebnisseite anzuzeigen.

​

Ziele definieren

Dieser Schritt ist obligatorisch, sofern Sie keine Integration (Reporting-Tool) konfiguriert haben. Wählen Sie ein oder mehrere Ziele aus, um Kameleoon als Reporting-Tool zu verwenden.

​

Verfügbare Ziele

Um Kameleoon als Reporting-Tool zu verwenden, definieren Sie ein Conversion-Ziel. Ein Ziel ist die Metrik, die Sie mit Ihrem A/B-Experiment verbessern möchten. Kameleoon unterstützt die folgenden Zieltypen:

• Engagement: Der Besucher besucht nach der Landingpage andere Seiten.
• Click tracking: Der Besucher klickt auf ein bestimmtes Element, das Sie definiert haben.
• Scroll tracking: Der Besucher scrollt über einen bestimmten Teil Ihrer Seite hinaus.
• Access to a page: Der Besucher erreicht eine bestimmte Seite.
• Number of pages viewed: Der Besucher besucht eine festgelegte Anzahl von Seiten.
• Time elapsed: Der Besucher verbringt eine vordefinierte Zeitspanne auf Ihrer Website.
• Custom goal: Für komplexe Metriken können Sie mit der Kameleoon-API benutzerdefinierte Ziele erstellen.

​

Ein neues Ziel erstellen

Um zu erfahren, wie Sie ein Ziel hinzufügen, siehe Ein Ziel erstellen.

​

Ein Ziel mit Ihrem Experiment verknüpfen

Nachdem Sie ein Ziel erstellt haben, verknüpfen Sie es mit Ihrem Experiment:

1. Klicken Sie auf der Finalization-Seite auf Goals.
2. Wählen Sie Ihr Ziel aus.
3. Um diesen Schritt zu speichern, klicken Sie auf Next.

​

Reporting-Tools einrichten

Dieser Schritt ist obligatorisch, sofern Sie kein Ziel konfiguriert haben.

​

Eine neue Integration hinzufügen

Um zu erfahren, wie Sie eine neue Integration hinzufügen, siehe Übersicht der Integrationen.

​

Eine Integration für ein Experiment aktivieren

Nachdem Sie ein Reporting-Tool zu Ihrer Integrationsliste hinzugefügt haben, können Sie es mit einem Experiment verknüpfen. So verknüpfen Sie eine Integration:

1. Klicken Sie auf der Finalization-Seite auf Integrations.
2. Wählen Sie das Tool aus.
3. Um diesen Schritt zu speichern, klicken Sie auf Next.

​

Allgemeine Einstellungen

Verwenden Sie dieses Menü, um die Gesamtkonfiguration Ihres Experiments zu verwalten:

• Main information
• Experiment code
• Experiment custom script
• Advanced settings

​

Main information

Verwalten Sie hier die wesentlichen Details des Experiments, einschließlich der Editor-Lade-URL, der Tags und der Hypothese.

​

Experiment code

Dieser Abschnitt enthält den allgemeinen Code, den Kameleoon auf jede Variation anwendet. Um diesen Code zur Originalvariation hinzuzufügen, klicken Sie auf den Schalter.

​

Experiment custom script

Verwenden Sie diesen Abschnitt, um JavaScript-Code hinzuzufügen, der für das gesamte Experiment gilt. Dieser Code läuft mit Kameleoons globalem Skript. Kameleoon entfernt diese Änderungen automatisch, wenn das Experiment endet. Dieses Skript wird vor allen Experiment- und Variations-Code ausgeführt. Es läuft unabhängig von den Targeting-Bedingungen, sobald Kameleoon geladen wird.

​

Advanced settings

Greifen Sie hier auf erweiterte Konfigurationsoptionen zu.

​

Benutzerdefiniertes Attributionsfenster

Definieren Sie ein Attributionsfenster in Tagen und Stunden. Das Attributionsfenster ist der Zeitraum, in dem Kameleoon Besucher-Conversions und Einnahmen einer bestimmten Variation zuordnet. Standardmäßig legt Kameleoon das Attributionsfenster auf Website-Ebene fest. Sie können es hier anpassen, bevor Sie das Experiment starten. Weitere Informationen finden Sie unter Wie Kameleoon Conversions zählt.

​

Anzeigebegrenzungen

Um zu erfahren, wie Sie eine Anzeigebegrenzung erstellen, siehe Den Code Editor verwenden. Sie können Anzeigebegrenzungen in den Advanced settings oder im Menü Variation konfigurieren. Der Abschnitt Advanced settings bietet einen Überblick über alle konfigurierten Limits.

​

JavaScript-Code-Optionen

Aktivieren Sie diese Option, um den JavaScript-Code des Experiments nach dem vollständigen Seitenladen zu laden. Dies stellt sicher, dass alle Seitenelemente geladen werden, bevor der Code ausgeführt wird, was Konflikte verhindert und die Leistung verbessert. Verwenden Sie dies, wenn Ihre Variationen von Elementen abhängen, die nach dem ersten Seiten-Rendering geladen werden.

​

Simulieren

Verwenden Sie den Simulationsmodus, um zu prüfen, ob:

• Ihre Variationen oder Personalisierungen korrekt angezeigt werden.
• Ihr Targeting korrekt konfiguriert ist.
• Ziele zu Conversions führen.
• Besucher den beabsichtigten Inhalt sehen.

Weitere Informationen finden Sie unter Eine Kampagne simulieren.

​

Experimentdauer schätzen

Im Finalization-Panel können Sie die Dauer Ihres Experiments schätzen. Geben Sie die folgenden Informationen an, um eine Schätzung zu generieren:

• Durchschnittliche tägliche Besucher: Die geschätzte Anzahl der täglichen Besucher der getesteten Seiten.
• Aktuelle Conversion-Rate: Die Baseline-Conversion-Rate für Ihr Hauptziel.
• Minimum Detectable Effect (MDE): Die kleinste Änderung in der Ziel-Metrik, die Sie relativ zur Kontrollvariation identifizieren möchten.
• Gewünschte Zuverlässigkeitsrate: Das erforderliche Konfidenzniveau zur Bestätigung der Ergebnisse (Standard 95 %). Eine Erhöhung dieses Werts reduziert das Risiko falsch-positiver Ergebnisse, erfordert jedoch mehr Besucher.

Der Schätzer berücksichtigt automatisch die Traffic-Zuweisung und die Anzahl der Variationen.

​

Starten

​

Sofort starten

Wenn Sie alle obligatorischen Finalisierungsschritte abschließen, erscheint ein grünes Häkchen. Kameleoon empfiehlt, Ihr Experiment vor dem Start zu simulieren, um die Anzeige, das Targeting und die Ziel-Conversions zu überprüfen. Wenn Sie bereit sind, klicken Sie auf Launch. Das Panel Configuration summary zeigt Ihre Experimenteinstellungen an. Um die Einstellungen zu ändern, klicken Sie auf eine Konfigurationsoption und wählen Sie Edit. Wenn Sie zufrieden sind, klicken Sie unten rechts auf Launch. Ihr Experiment ist jetzt online.

​

Planen

Sie können Ihr Experiment mit einem Startdatum, einem Enddatum oder beidem planen. Um das Experiment zu planen, klicken Sie auf das Drei-Punkte-Menü und wählen Sie Schedule: Alternativ klicken Sie unten in der Configuration summary auf Schedule. Advanced schedule ermöglicht es Ihnen, die Zeitzone festzulegen und zu automatisieren, wann das Experiment endet. Automatische Stopps werden ausgelöst, wenn sich die Zuverlässigkeitsrate auf dem konfigurierten Wert stabilisiert oder wenn der Traffic einen definierten Schwellenwert erreicht. Vermeiden Sie es, vor dem Start ein Enddatum für A/B-Experimente festzulegen. Verwenden Sie die Konfidenzrate als primären Indikator dafür, wann ein Experiment beendet werden sollte. Bei Experimenten, die an bestimmte Ereignisse oder Zeiträume gebunden sind, können Sie ein Enddatum definieren. Überprüfen Sie immer die Konfidenzrate, bevor Sie die Ergebnisse analysieren.