Skip to main content
Experimente können tagelang unzuverlässige Daten sammeln, bevor es jemand bemerkt, etwa wenn ein Tracking-Tag nach einem Website-Release aufhört zu feuern. Ihr KI-Assistent führt die Health Checks für die running experiments einer Website aus, die nach Tracking-Lücken und abweichender Traffic-Aufteilung suchen, und liest danach die Ergebnisse jedes Experiments für sein primäres Ziel. Sie können die Prüfung in jedem Assistenten auf Abruf ausführen, den Sie mit Kameleoon verbinden, und sie in Claude oder ChatGPT jede Woche als Aufgabe planen. In Claude und ChatGPT kann ein geplanter Lauf die Zusammenfassung an Ihre Slack-Direktnachrichten senden, damit Sie ein Problem erfahren, bevor Sie die Ergebnisse lesen.

​
Wie sich die wöchentliche Prüfung in Ihren Arbeitsablauf einfügt

  • Laufende Experimente prüfen: Der Assistent führt die Health Checks für jedes running experiment aus und meldet die Checks, die nicht bestanden wurden.
  • Ergebnisse lesen: Der Assistent meldet den Winner-Status und die Conversion-Zahlen für das primäre Ziel jedes running experiment.
  • Ideen und Takeaways prüfen: Der Assistent listet die Ideen, die PBX Ideate für Ihre Seiten erzeugt hat, und die Ergebnisse, die Kameleoon für Experimente aufgezeichnet hat, die in den letzten 7 Tagen paused oder stopped wurden.
  • Prüfung planen: Führen Sie dieselbe Anfrage jede Woche als geplante Aufgabe in Claude oder ChatGPT aus.

​
Bevor Sie beginnen

  • Einrichtung: Verbinden Sie Kameleoon mit Ihrem KI-Assistenten. Für einen Chat-Assistenten wie Claude oder ChatGPT lesen Sie Kameleoon mit Claude und ChatGPT verbinden. Für einen Coding-Agenten wie Claude Code, Codex oder Cursor lesen Sie MCP-Clients einrichten.
  • Site code: Der Code der Website, die Sie prüfen möchten. Wenn Sie ihn nicht kennen, bitten Sie Ihren Assistenten, Ihre Websites aufzulisten, zum Beispiel mit “List your Kameleoon sites.”
  • PBX Ideate: Nur für den Abschnitt zu den Ideen erforderlich. Der Assistent kann Ideen nur für Seiten auflisten, die jemand in PBX Ideate analysiert hat. Ohne Analyse meldet die Prüfung, dass keine Seite Ideen hat.
  • Zustellung: Nur für die geplante Prüfung erforderlich. Die Prüfung auf Abruf sendet nichts. Um die Zusammenfassung an Slack zu senden, brauchen Sie Ihre Slack-Benutzer-ID, die mit U beginnt, zum Beispiel U0123ABCDEF. Öffnen Sie in Slack Ihr Profil, wählen Sie das three-dot menu und dann Copy member ID.

​
Die Prüfung auf Abruf ausführen

Führen Sie die Prüfung aus, wann immer Sie einen Überblick über die running experiments einer Website möchten. Die Anfrage liest nur Daten, daher ändert sich kein Experiment und keine Traffic-Aufteilung.

​
Die Prüfung anfordern

Der Bericht beantwortet drei Fragen: Sind die Daten jedes running experiment vertrauenswürdig, was zeigen seine Ergebnisse, und was sagen die Ideen und früheren Takeaways für den nächsten Test? Geben Sie den Site code im Feld Value ein und kopieren Sie die Anfrage dann in Ihren Assistenten. Wenn die Anfrage funktioniert, listet der Bericht jedes running experiment mit seinem Gesamtstatus der Health Checks und seinem Ergebnis für das primäre Ziel auf. Danach listet er jeden Health Check auf, der nicht bestanden wurde, mit seinem Befund und dem nächsten Schritt. Der Abschnitt Ideas nennt jede analysierte Seite und ihre besten Ideen. Wenn keine Seite der Website in PBX Ideate analysiert wurde, sagt der Abschnitt Ideas das. Der Abschnitt Takeaways kann leer sein, wenn Sie in den letzten 7 Tagen kein Experiment paused oder stopped haben. Wenn die Website keine running experiments hat, ist die Liste leer, und der Bericht hat nichts zu prüfen.

​
Die Status der Health Checks lesen

Jeder Health Check liefert einen der folgenden Status. Der Gesamtstatus eines Experiments ist der schlechteste Status seiner Checks.
  • PASSED: Der Check hat kein Problem gefunden.
  • WARNING: Der Check hat ein mögliches Problem gefunden, etwa niedrigen Traffic oder ein Tracking-Problem. Eine Tracking-Warnung, die 72 Stunden anhält, wird zu FAILED.
  • FAILED: Der Check hat ein Problem gefunden, das eine Maßnahme erfordert.
  • PENDING: Kameleoon hat noch nicht genug Traffic ausgewertet. Führen Sie die Prüfung später erneut aus.
  • NOT_STARTED: Das Experiment wurde nie gestartet, daher hat es keine Daten zu prüfen.
Die Checks Visit tracking und Conversion tracking betrachten die letzten 24 Stunden, am ersten Tag nach dem Start nur die letzte Stunde. Sample ratio mismatch und Overlapping exposure betrachten den gesamten Traffic seit dem Start des Experiments. Deshalb kann sich ein Status von einer Prüfung zur nächsten ändern. Kameleoon verwendet eine Auswertung bis zu 15 Minuten wieder, daher liefert ein zweiter Lauf innerhalb dieser Zeit dieselben Status.

​
Die Ergebnisse lesen

Die Prüfung liest die Ergebnisse jedes Experiments für seine gesamte Laufzeit. Wenige Tage Daten können verrauscht sein. Rufen Sie daher keinen Winner aus einem kurzen Zeitraum aus. Der Winner wird nur für das primäre Ziel entschieden, und zwar anhand der Zuverlässigkeitsschwelle. Sekundäre Ziele zeigen dieselben Werte als Guardrail-Metriken ohne Urteil. Nutzen Sie sie daher, um Nebenwirkungen zu prüfen, und nicht, um einen Winner auszuwählen.

​
Die Ideen und Takeaways lesen

Ideen stammen aus PBX-Ideate-Analysen Ihrer Seiten. Jede Idee hat einen Score, und die höchsten Scores stehen zuerst. Takeaways sind die Erkenntnisse, die Kameleoon aufzeichnet, wenn Sie ein Experiment pausieren oder stoppen. Wenn Sie ein Experiment fortsetzen, wird sein Takeaway entfernt.

​
Die Prüfung jede Woche senden

Sie können die Prüfung in Claude oder in ChatGPT planen. Eine geplante Aufgabe in Claude läuft in der Cloud Ihres Assistenten und nicht auf dem Kameleoon-Server, den Sie in Ihrer IDE eingerichtet haben. Ihr Computer kann also ausgeschaltet sein, und die Aufgabe braucht den verbundenen Kameleoon-Connector. Jeder Lauf sendet seine Zusammenfassung an Ihre Slack-Direktnachrichten.

​
Die geplante Aufgabe erstellen

Erstellen Sie eine geplante Aufgabe, die die Anfrage jeden Montag ausführt. Wählen Sie den Tab für Ihren Assistenten.
Bevor Sie beginnen, fügen Sie Kameleoon und Slack in Claude als Connectors hinzu. Der Artikel About custom connectors von Anthropic beschreibt, wie Sie einen Connector hinzufügen, und Kameleoon mit Claude und ChatGPT verbinden behandelt den Kameleoon-Connector.Erstellen Sie eine geplante Aufgabe, die jeden Montag läuft, zu der Uhrzeit, zu der Sie die Zusammenfassung erhalten möchten. Der Artikel Schedule recurring tasks von Anthropic beschreibt, wie Sie eine solche Aufgabe erstellen. Füllen Sie Ihren Site code aus, wählen Sie Ihre Slack-Benutzer-ID in der Liste Variable aus und geben Sie sie im Feld Value ein. Klicken Sie dann auf Copy prompt und fügen Sie die Anfrage als Anweisungen der Aufgabe ein. Um Ihre Benutzer-ID zu finden, öffnen Sie in Slack Ihr Profil, wählen Sie das three-dot menu und dann Copy member ID.Prüfen Sie, ob die Aufgabe sowohl den Kameleoon- als auch den Slack-Connector aufführt. Ohne beide kann die Aufgabe weder Ihre Experimente lesen noch die Slack-Nachricht senden.Um einen Lauf zu prüfen, öffnen Sie die Aufgabe in Claude. Jeder Lauf hat eine eigene Sitzung, und wenn ein Lauf endet, kommt die Zusammenfassung in Ihren Slack-Direktnachrichten an. Wenn keine Nachricht ankommt, öffnen Sie die Aufgabe und prüfen Sie den letzten Lauf auf einen Fehler.Jeder Lauf verbraucht Tokens für die Daten, die er liest. Der Abschnitt zum Token-Verbrauch auf der Seite zum MCP-Server beschreibt, was den Verbrauch bestimmt.

​
Was die Zusammenfassung enthält

In Claude beginnt die Slack-Nachricht mit einer Zusammenfassungszeile, danach folgen die Abschnitte Problems, Results, Ideas und Takeaways. Der Abschnitt Errors erscheint nur, wenn ein Tool-Aufruf fehlschlägt.
Die Tool-Parameter stehen in den Referenzen Tools für Experimente und Tools für Ideen und Erkenntnisse.