Passer au contenu principal

​
Qu’est-ce que le Sample Ratio Mismatch

Un Sample Ratio Mismatch (SRM) se produit lorsque la distribution réelle des sujets de test entre les variations d’une expérience ne correspond pas à la distribution prévue. Cela signifie qu’une variation reçoit significativement plus ou moins de trafic que prévu. Le SRM entraîne une répartition inégale du trafic entre les variations, que vous ayez réparti le trafic à parts égales ou non. Exemple : vous lancez une campagne avec une allocation de trafic de 50 % pour l’original et 50 % pour la variation. Si les données indiquent 50 000 visiteurs pour l’original et 48 900 pour la variation, le test natif de détection SRM intégré à l’application Kameleoon signale les résultats comme positifs au Sample Ratio Mismatch. Kameleoon détecte le SRM en exécutant un test d’adéquation du Chi-Carré afin de déterminer si une variable correspond à une distribution donnée. Kameleoon utilise un seuil de 0,001 pour la p-value ; une expérience est positive au SRM si la p-value passe sous ce seuil.
Alerte native de détection du SRM dans l’application Kameleoon sur la page Résultats

​
Pourquoi le SRM est-il important ?

Le SRM indique un biais dans le mécanisme d’attribution du trafic de l’expérience. Ce biais peut invalider les résultats de l’expérience car il viole les hypothèses fondamentales sur lesquelles reposent les calculs statistiques d’un A/B test. Ce problème est particulièrement pertinent pour les sites à fort trafic, où même de petites divergences peuvent avoir un impact important sur les résultats et conduire à de mauvaises décisions. Les alertes SRM intégrées à l’application Kameleoon vous permettent de prendre des décisions fondées sur des tests statistiques plutôt que sur l’intuition.

​
Que faire lorsqu’une expérience est positive au SRM

Vous n’avez pas besoin d’écarter immédiatement les résultats d’une expérience lorsque vous détectez un SRM. Si vous identifiez l’origine du SRM et que la divergence disparaît après avoir filtré les visiteurs problématiques, vous pouvez tout de même tirer des conclusions valables. Le SRM survient fréquemment lorsqu’un navigateur classe un visiteur de manière incorrecte en raison d’une incompatibilité du code de la variation. Par conséquent, le visiteur voit la référence au lieu de la variation, et le système ne parvient pas à collecter les données d’exposition. Pour résoudre ce problème :
  1. Ouvrez la page Résultats de l’expérience. Mettez d’abord l’expérience en pause pour éviter une collecte supplémentaire de données biaisées.
  2. Faites défiler jusqu’à un objectif et cliquez sur Breakdown.
  3. Appliquez un filtre breakdown à tous les objectifs.
  4. Dans les rapports breakdown, vérifiez si la variable de breakdown a un impact sur l’allocation du trafic. Vérifiez Device type, Browser, Operating system, ainsi que toute donnée personnalisée disponible. Si les rapports révèlent la divergence, vous avez identifié la variable responsable du SRM. Sinon, continuez à appliquer des filtres breakdown jusqu’à ce que vous en identifiiez la cause.
  5. Appliquez un filtre aux résultats de l’expérience pour exclure les visiteurs concernés par l’allocation incorrecte. Avec les résultats filtrés, vous pouvez déterminer la variation gagnante.
Après avoir traité la cause sous-jacente du SRM, vous pouvez relancer l’expérience.

​
Quelles sont les causes du SRM ?

Les causes profondes du SRM varient selon les expériences, les organisations et les utilisateurs. Utilisez la liste de contrôle suivante pour diagnostiquer une expérience positive au SRM :
  • Vérifiez les identifiants uniques : assurez-vous d’utiliser un identifiant unique robuste pour les visiteurs. Par défaut, Kameleoon utilise un identifiant unique de visiteur (le visitorCode Kameleoon). Kameleoon hache ce code dans l’algorithme d’attribution pour sélectionner aléatoirement une variation. Si vous n’utilisez pas le code visiteur par défaut ou une donnée personnalisée pour mapper un ID utilisateur, l’ID doit comporter au moins 16 caractères aléatoires (lettres minuscules et chiffres).
  • Vérifiez les délais d’exécution : assurez-vous qu’aucun délai n’affecte l’exécution de la variation. Par exemple, une variation peut rediriger vers une page où Kameleoon n’est pas installé.
  • Examinez les scripts d’attribution personnalisés : déterminez si l’expérience utilise des scripts d’attribution personnalisée des variations. Ces scripts contournent l’algorithme d’attribution standard et peuvent provoquer un SRM.
  • Vérifiez les modifications de configuration : modifier la déviation du test, supprimer une variation ou réallouer le trafic peut déclencher une alerte SRM.
Identifiez l’origine du mismatch afin de l’éviter dans les expériences futures. Analysez les expériences positives au SRM avec différents filtres breakdown pour identifier rapidement la cause profonde. Pour découvrir d’autres causes potentielles, consultez cette taxonomie des causes.

​
Quelle est la fréquence du SRM ?

Le test SRM est un outil puissant car il détecte un large éventail de problèmes potentiels. Comme cet éventail est large, les tests peuvent renvoyer des résultats positifs plus souvent que prévu. En moyenne, 4,5 % des expériences lancées sur Kameleoon sont positives au SRM. Microsoft a partagé les observations suivantes au sujet du SRM en septembre 2020 : “Les récentes contributions de recherche d’entreprises telles que LinkedIn et Yahoo, ainsi que nos propres recherches, confirment que les SRM surviennent relativement fréquemment… Chez LinkedIn, environ 10 % de leurs A/B tests zoomés… étaient affectés par ce biais. Chez Microsoft, une analyse récente a montré qu’environ 6 % des A/B tests présentent un SRM.”