Zum Hauptinhalt springen
Kameleoon bietet zwei Arten von dynamischen Traffic-Zuweisungsalgorithmen, um die Experimentleistung zu maximieren: Multi-Armed Bandits (MABs) und Contextual Bandits. Beide Ansätze nutzen Echtzeit-Leistungsdaten, um mehr Traffic auf leistungsstärkere Variationen zu lenken, unterscheiden sich jedoch in der Behandlung von Benutzerdaten. Dieser Artikel erklärt, wie diese Algorithmen funktionieren, wann man sie einsetzt und wie man sie in Ihren Experimenten aktiviert. Um die dynamische Traffic-Zuweisung zu aktivieren, erstellen Sie ein neues Experiment oder öffnen Sie ein vorhandenes.
Wählen Sie im Abschnitt Variation to serve die bevorzugte Zuweisung aus dem Dropdown-Menü aus. Wählen Sie zwischen der Optimierung Multi-armed bandit oder Contextual bandit.
Kameleoon aktualisiert die Zuweisung ausschließlich auf Basis des Lifts des Primary Goal.

​
Multi-Armed Bandits

Bei dynamischer Zuweisung (wie MABs) können Sie die Expositionsraten nicht manuell bearbeiten. Stattdessen misst Kameleoon automatisch die Verbesserung gegenüber der ursprünglichen Variation und schätzt den Gewinn an Gesamtkonversionen mithilfe des Epsilon-Greedy-Algorithmus. Kameleoon wiederholt diesen Prozess stündlich. Der MAB-Algorithmus leitet Traffic auf leistungsstärkere Variationen um, auch ohne statistische Signifikanz, was die Zeit zur Identifizierung erfolgreicher oder erfolgloser Variationen drastisch verkürzen kann.
Auto-optimierte Experimente verlassen sich auf die ursprüngliche Variation („off” bei Feature-Experimenten), um die Abweichungen zu optimieren. Wenn die ursprüngliche Variation keinen Traffic erhält, wird die Abweichung möglicherweise nicht aktualisiert, sodass die Zuweisung trotz einer eindeutig gewinnenden Variation bei 50/50 bleibt.
MABs stützen sich nicht auf eine Kontroll- oder Baseline-Erfahrung. Im Gegensatz zu A/B-Tests priorisieren MABs die Verbesserung gegenüber einer anfänglich gleichmäßigen Zuweisung und passen den Traffic dynamisch an die Echtzeit-Performance an. In Fällen, in denen die statistische Analyse weniger wichtig ist und Sie die „Exploration”-Zeit minimieren müssen, sind MABs nützlich, da sie sich stärker auf die „Exploitation” konzentrieren.

​
Contextual Bandits

Contextual Bandits optimieren die Traffic-Zuweisung in Experimenten dynamisch mithilfe von Machine Learning. Sie passen sich in Echtzeit an, um den Traffic basierend auf der Variationsleistung und dem Benutzerkontext neu zu verteilen und die Effektivität zu maximieren. Wichtige Unterschiede unterscheiden Multi-Armed Bandits von Contextual Bandits:
  • Multi-Armed Bandits: Diese optimieren die Traffic-Verteilung über mehrere Variationen (Arme), um ein definiertes Ziel zu maximieren, wie z. B. Klickraten oder Konversionen. Sie behandeln alle Benutzer gleich, ohne Unterscheidung auf Basis von Benutzerattributen. Dies macht sie ideal für Szenarien, in denen benutzerspezifische Daten nicht verfügbar oder nicht erforderlich sind und der Fokus auf der Identifizierung der leistungsstärksten Variation für das Gesamtpublikum bleibt.
  • Contextual Bandits: Diese beziehen zusätzliche benutzerspezifische Daten – wie Gerätetyp, Standort oder Verhalten – in die Entscheidungsfindung ein. Sie ermöglichen personalisiertere Entscheidungen, indem sie Variationen auf bestimmte Benutzer zuschneiden, um bessere Ergebnisse zu erzielen. Die durch Benutzerattribute eingeführte Variabilität ermöglicht es Contextual Bandits, Entscheidungen in dynamischen Umgebungen zu optimieren.
Während Multi-Armed Bandits die Traffic-Zuweisung gleichmäßig über die Benutzer hinweg optimieren, nutzen Contextual Bandits Kontextdaten, um personalisiertere, datengesteuerte Entscheidungen zu treffen. Lesen Sie den Artikel Dynamic traffic allocation, um mehr darüber zu erfahren, wie die MAB-Optimierung funktioniert, oder lesen Sie das Kameleoon statistical paper, um tiefer in die technischen Details des MAB-Algorithmus einzutauchen.