Was sind Health Checks
Health Checks sind automatisierte Diagnosen, die die allgemeine Gesundheit Ihres Experiments überwachen. Sie laufen stündlich während der ersten 24 Stunden nach der Aktivierung eines Experiments und danach täglich für alle aktiven Experimente. Sie können sie auch jedes Mal manuell auslösen, wenn Sie die Ergebnisseite öffnen.
- Tracking- oder Datenanomalien frühzeitig zu erkennen.
- Zu bestätigen, dass Ihr Experiment weiterhin wie erwartet Daten sammelt.
- Potenzielle Verzerrungen zu identifizieren, die Ihre Ergebnisse beeinflussen könnten.
| Name der Prüfung | Zweck |
|---|---|
| Visitor Tracking Check | Überprüft, ob neue Besucher weiterhin regelmäßig in das Experiment einsteigen. |
| Conversion Tracking Check | Stellt sicher, dass alle angehängten Ziele weiterhin Conversions erhalten. |
| SRM Check | Erkennt Stichprobenverhältnis-Diskrepanzen zwischen Variationen und erwarteter Traffic-Verteilung. |
| Overlapping Exposure Check | Identifiziert Benutzer, die mehreren Variationen desselben Experiments ausgesetzt sind. |
Schwellenwerte für Health Checks
Jeder Health Check verwendet bestimmte Schwellenwerte, um seinen Status zu bestimmen. Das Verständnis dieser Schwellenwerte hilft Ihnen, die Schwere etwaiger erkannter Probleme zu interpretieren.Sample Ratio Mismatch Check
Diese Prüfung verwendet einen Chi-Quadrat-Test, um einen p-Wert zu berechnen, der misst, wie genau Ihre tatsächliche Traffic-Verteilung mit der erwarteten Aufteilung übereinstimmt.| Status | Schwellenwert | Bedeutung |
|---|---|---|
| Passed | p-Wert ≥ 0,01 | Die Traffic-Zuweisung ist ausgewogen. Die beobachtete Verteilung entspricht der erwarteten Aufteilung, und die Randomisierung funktioniert korrekt. |
| Warning | 0,001 ≤ p-Wert < 0,01 | Die Traffic-Zuweisung zeigt ein leichtes Ungleichgewicht. Die Benutzeraufteilung weicht leicht vom erwarteten Verhältnis ab. Obwohl noch nicht kritisch, könnte dieser Status auf ein aufkommendes Problem hinweisen. |
| Failed | p-Wert < 0,001 | KRITISCH: Sample Ratio Mismatch (SRM) erkannt. Die beobachtete Benutzeraufteilung unterscheidet sich erheblich vom erwarteten Verhältnis, was auf eine hohe Wahrscheinlichkeit eines systemischen Problems hinweist (zum Beispiel Tracking-Bug, Implementierungsfehler). |
Overlapping exposure check
Der Overlapping-Exposure-Check identifiziert den Prozentsatz der Benutzer, die verschiedene Variationen desselben Experiments über mehrere Besuche hinweg sehen. Eine Überlappung tritt auf, wenn ein Benutzer eine Variation bei einem ersten Besuch und eine andere Variation bei einem nachfolgenden Besuch sieht. Das System berechnet die Rate anhand der folgenden Formel: (Benutzer, die mehr als einer Variation ausgesetzt waren) ÷ (Gesamtzahl der Benutzer im Test).| Status | Schwellenwert | Bedeutung |
|---|---|---|
| Passed | < 2 % | Die Stichprobenkontamination ist minimal. Das Niveau der Benutzerüberschneidung liegt innerhalb akzeptabler Grenzen, um eine hohe Datenintegrität aufrechtzuerhalten. |
| Warning | 2 % bis 5 % | Moderate Stichprobenkontamination erkannt. Ein kleiner Prozentsatz der Benutzer hat mehrere Variationen gesehen, was zu Rauschen führt und die statistische Aussagekraft möglicherweise verringert. |
| Failed | > 5 % | KRITISCH: Hohe Stichprobenkontamination. Ein erheblicher Teil der Benutzer wurde mehreren Variationen ausgesetzt, was die Ergebnisse stark verzerren und das Experiment ungültig machen kann. |
Conversion Tracking Check
Diese Prüfung überwacht, ob Ihre Ziele aktiv Conversions erhalten.| Status | Schwellenwert | Bedeutung |
|---|---|---|
| Passed | Conversions in den letzten 24 Stunden aufgezeichnet | Conversion-Tracking ist aktiv. Zielereignisse werden wie erwartet aufgezeichnet. |
| Warning | Null Conversions für mindestens ein Ziel in den letzten 24 Stunden | In den letzten 24 Stunden wurden für mindestens ein Ziel keine Conversions aufgezeichnet, was an geringem Traffic liegen kann, aber auf ein Tracking-Problem hinweisen kann. |
| Failed | Null Conversions seit mehr als 48-72 Stunden | KRITISCH: Das Conversion-Tracking ist fehlgeschlagen. Für mindestens ein Ziel wurden mehrere Tage lang keine Conversions aufgezeichnet. Die Tracking-Implementierung ist wahrscheinlich defekt. |
Visitor Tracking Check
Diese Prüfung überprüft, ob neue Besucher weiterhin in das Experiment einsteigen.| Status | Schwellenwert | Bedeutung |
|---|---|---|
| Passed | Besucher in den letzten 24 Stunden aufgezeichnet | Besucher-Tracking ist aktiv. In den letzten 24 Stunden wurden erfolgreich Besucher aufgezeichnet. |
| Warning | Null Besucher in den letzten 24 Stunden | In den letzten 24 Stunden haben keine Besucher das Experiment erreicht. Der Traffic kann gering sein oder es können Targeting-Probleme bestehen. |
| Failed | Null Besucher seit mehr als 48-72 Stunden | KRITISCH: Seit längerer Zeit keine neuen Besucher erkannt. Das Experiment ist möglicherweise nicht korrekt ausgerichtet oder technische Probleme blockieren möglicherweise die Besuchsprotokollierung. |
Health-Zusammenfassung im Menü Übersicht
Oben im Menü Übersicht finden Sie ein Health-Zusammenfassungs-Badge, das die allgemeine Gesundheit Ihres Experiments auf einen Blick zeigt.
- Die Farbe des Badges stellt den aktuellen Status über alle Prüfungen hinweg dar:
- Rot: Fehlgeschlagene Prüfung
- Gelb: Warnung
- Grau: Ausstehend
- Grün: Alle Prüfungen bestanden
- Der Text im Badge zeigt die Anzahl der nicht bestandenen Prüfungen (rot + gelb + grau) oder Alle bestanden, wenn alles grün ist.
| Symbol | Status | Beschreibung |
|---|---|---|
| ✅ | Passed | Kein Problem erkannt |
| ⚠️ | Warning | Potenzielles Problem erkannt |
| ❌ | Failed | Problem, das das Experiment beeinträchtigt |
| ⚪ | Pending | Prüfung noch nicht ausgewertet |
Im Menü Health navigieren
Das Menü Health bietet eine detaillierte, interaktive Ansicht aller Prüfungen und ihrer Ergebnisse.Oberes Banner
Oben im Menü sehen Sie:- X/Y Prüfungen ausgeführt: Anzahl der abgeschlossenen Prüfungen (X) von der Gesamtzahl (Y).
- Zuletzt aktualisiert: Die letzte Auswertungszeit.
- Statusaufschlüsselung: Eine Anzahl der Prüfungen nach Status – Passed, Warning, Failed oder Pending.
Prüfungsdetails
Diese Registerkarte ist in zwei Abschnitte unterteilt:- Linke Spalte:
- Eine anklickbare Liste der vier Health Checks, von denen jede ihr aktuelles Status-Symbol anzeigt.
- Rechte Spalte:
- Eine detaillierte Beschreibung der ausgewählten Prüfung, einschließlich:
- Was sie überwacht
- Was der aktuelle Status bedeutet
- Empfohlene Nächste Schritte, wenn die Prüfung den Status Warning oder Failed hat
- Eine detaillierte Beschreibung der ausgewählten Prüfung, einschließlich:
Sonderfälle
Status Pending
Der Status Pending wird nur angezeigt, wenn das Experiment gerade gestartet wurde und noch kein Health-Check-Job ausgeführt wurde. Dieser Zustand ist vorübergehend und löst sich automatisch auf, sobald die erste Auswertung (stündlich oder manuell) abgeschlossen ist.Pausierte oder gestoppte Experimente
Wenn ein Experiment pausiert oder gestoppt ist, wird das Health-Menü deaktiviert. Das Health-Zusammenfassungs-Badge im Menü Übersicht wird ebenfalls ausgeblendet, um die Ergebnisseite übersichtlich zu halten.Datenaktualisierungen und Aktualisierung
- Health Checks laufen stündlich während der ersten 24 Stunden nach der Aktivierung, dann täglich für alle aktiven Experimente.
- Wenn Sie die Ergebnisseite öffnen, werden die Prüfungen bei Bedarf aktualisiert.
- Zwischengespeicherte Ergebnisse werden sofort angezeigt und automatisch aktualisiert, sobald neue Daten empfangen werden.
Kompatibilität
Health Checks sind für alle Experimenttypen verfügbar:- A/B Tests
- Feature Flags
- Personalization-Kampagnen