Que sont les Health Checks
Les Health Checks sont des diagnostics automatisés qui surveillent la santé globale de votre expérience. Ils s’exécutent toutes les heures pendant les 24 premières heures suivant l’activation d’une expérience, puis quotidiennement pour toutes les expériences actives. Vous pouvez également les déclencher manuellement chaque fois que vous ouvrez la page Résultats.
- Détecter rapidement les anomalies de tracking ou de données.
- Confirmer que votre expérience continue de collecter des données comme prévu.
- Identifier les biais potentiels qui pourraient affecter vos résultats.
| Nom du contrôle | Objectif |
|---|---|
| Visitor Tracking Check | Vérifie que de nouveaux visiteurs entrent encore régulièrement dans l’expérience. |
| Conversion Tracking Check | S’assure que tous les objectifs associés continuent de recevoir des conversions. |
| SRM Check | Détecte les écarts de ratio d’échantillon entre les variations et la distribution de trafic attendue. |
| Overlapping Exposure Check | Identifie les utilisateurs exposés à plusieurs variations de la même expérience. |
Seuils des Health Checks
Chaque Health Check utilise des seuils spécifiques pour déterminer son statut. Comprendre ces seuils vous aide à interpréter la gravité des problèmes détectés.Sample Ratio Mismatch Check
Ce contrôle utilise un test du Chi-deux pour calculer une p-value qui mesure à quel point votre distribution de trafic réelle correspond à la répartition attendue.| Statut | Seuil | Signification |
|---|---|---|
| Passed | p-value ≥ 0,01 | L’allocation du trafic est équilibrée. La distribution observée correspond à la répartition attendue et la randomisation fonctionne correctement. |
| Warning | 0,001 ≤ p-value < 0,01 | L’allocation du trafic présente un léger déséquilibre. La répartition des utilisateurs s’écarte légèrement du ratio attendu. Bien que non encore critique, ce statut peut indiquer un problème émergent. |
| Failed | p-value < 0,001 | CRITIQUE : Sample Ratio Mismatch (SRM) détecté. La répartition observée des utilisateurs est significativement différente du ratio attendu, ce qui indique une forte probabilité de problème systémique (par exemple, bug de tracking, erreur d’implémentation). |
Overlapping exposure check
Le contrôle d’exposition par chevauchement identifie le pourcentage d’utilisateurs qui voient différentes variations de la même expérience au cours de plusieurs visites. Un chevauchement se produit lorsqu’un utilisateur voit une variation lors d’une première visite et une variation différente lors d’une visite ultérieure. Le système calcule le taux à l’aide de la formule suivante : (utilisateurs exposés à plus d’une variation) ÷ (nombre total d’utilisateurs dans le test).| Statut | Seuil | Signification |
|---|---|---|
| Passed | < 2 % | La contamination de l’échantillon est minimale. Le niveau de croisement des utilisateurs reste dans des limites acceptables pour maintenir une intégrité élevée des données. |
| Warning | 2 % à 5 % | Contamination modérée de l’échantillon détectée. Un faible pourcentage d’utilisateurs ont vu plusieurs variations, introduisant du bruit et réduisant potentiellement la puissance statistique. |
| Failed | > 5 % | CRITIQUE : Forte contamination de l’échantillon. Une part importante des utilisateurs a été exposée à plusieurs variations, ce qui peut biaiser sévèrement les résultats et invalider l’expérience. |
Conversion Tracking Check
Ce contrôle vérifie que vos objectifs reçoivent activement des conversions.| Statut | Seuil | Signification |
|---|---|---|
| Passed | Conversions enregistrées au cours des dernières 24 heures | Le tracking des conversions est actif. Les événements d’objectif sont enregistrés comme prévu. |
| Warning | Zéro conversion pour au moins un objectif au cours des dernières 24 heures | Aucune conversion n’a été enregistrée pour au moins un objectif au cours des dernières 24 heures, ce qui peut être dû à un faible trafic, mais peut indiquer un problème de tracking. |
| Failed | Zéro conversion depuis plus de 48-72 heures | CRITIQUE : Le tracking des conversions a échoué. Aucune conversion n’a été enregistrée pour au moins un objectif pendant plusieurs jours. L’implémentation du tracking est probablement défaillante. |
Visitor Tracking Check
Ce contrôle vérifie que de nouveaux visiteurs entrent encore dans l’expérience.| Statut | Seuil | Signification |
|---|---|---|
| Passed | Visiteurs enregistrés au cours des dernières 24 heures | Le tracking des visiteurs est actif. Des visiteurs ont été enregistrés avec succès au cours des dernières 24 heures. |
| Warning | Zéro visiteur au cours des dernières 24 heures | Aucun visiteur n’a atteint l’expérience au cours des dernières 24 heures. Le trafic peut être faible ou des problèmes de ciblage peuvent exister. |
| Failed | Zéro visiteur depuis plus de 48-72 heures | CRITIQUE : Aucun nouveau visiteur détecté depuis une période prolongée. L’expérience n’est peut-être pas ciblée correctement ou des problèmes techniques peuvent bloquer l’enregistrement des visites. |
Résumé Santé dans le menu Vue d’ensemble
En haut du menu Vue d’ensemble, vous trouverez un badge de résumé Santé indiquant la santé globale de votre expérience en un coup d’œil.
- La couleur du badge représente le statut actuel pour l’ensemble des contrôles :
- Rouge : Contrôle en échec
- Jaune : Avertissement
- Gris : En attente
- Vert : Tous les contrôles réussis
- Le texte à l’intérieur du badge affiche le nombre de contrôles non réussis (rouge + jaune + gris), ou Tous réussis si tout est vert.
| Icône | Statut | Description |
|---|---|---|
| ✅ | Passed | Aucun problème détecté |
| ⚠️ | Warning | Problème potentiel détecté |
| ❌ | Failed | Problème impactant l’expérience |
| ⚪ | Pending | Contrôle non encore évalué |
Naviguer dans le menu Santé
Le menu Santé offre une vue détaillée et interactive de tous les contrôles et de leurs résultats.Bannière supérieure
En haut du menu, vous verrez :- X/Y contrôles exécutés : Nombre de contrôles terminés (X) sur le total (Y).
- Dernière mise à jour : L’heure de la dernière évaluation.
- Répartition des statuts : Le nombre de contrôles par statut — Passed, Warning, Failed ou Pending.
Détails des contrôles
Cet onglet est divisé en deux sections :- Colonne de gauche :
- Une liste cliquable des quatre Health Checks, chacun affichant son icône de statut actuel.
- Colonne de droite :
- Une description détaillée du contrôle sélectionné, incluant :
- Ce qu’il surveille
- Ce que signifie le statut actuel
- Les Prochaines étapes recommandées si le contrôle est en Warning ou Failed
- Une description détaillée du contrôle sélectionné, incluant :
Cas particuliers
Statut Pending
Le statut Pending apparaît uniquement lorsque l’expérience vient d’être lancée et qu’aucun job de Health Check n’a encore été exécuté. Cet état est temporaire et se résout automatiquement une fois la première évaluation (horaire ou manuelle) terminée.Expériences en pause ou arrêtées
Lorsqu’une expérience est en pause ou arrêtée, le menu Santé est désactivé. Le badge de résumé Santé dans le menu Vue d’ensemble est également masqué pour conserver une page Résultats claire.Mises à jour et actualisation des données
- Les Health Checks s’exécutent toutes les heures pendant les 24 premières heures suivant l’activation, puis quotidiennement pour toutes les expériences actives.
- Lorsque vous ouvrez la page Résultats, les contrôles sont actualisés à la demande.
- Les résultats mis en cache s’affichent instantanément et se mettent à jour automatiquement à la réception de nouvelles données.
Compatibilité
Les Health Checks sont disponibles pour tous les types d’expériences :- A/B tests
- Feature flags
- Campagnes de personnalisation