Winsorisation

​

Qu’est-ce que la winsorisation ?

La winsorisation est une technique statistique utilisée pour limiter les valeurs extrêmes des données afin de réduire l’impact des valeurs aberrantes en utilisant les percentiles de vos données. Les valeurs aberrantes sont des points de données qui diffèrent significativement des autres observations et qui peuvent fausser les résultats de vos A/B tests. En winsorisant vos données, vous garantissez que vos résultats sont plus robustes et fiables.

​

Pourquoi la winsorisation est importante dans les A/B tests

Dans les A/B tests, vous comparez deux ou plusieurs variations afin de déterminer laquelle est la plus performante. Les valeurs aberrantes peuvent fausser la performance réelle de ces variations et conduire à des conclusions trompeuses. Appliquer la winsorisation atténue l’effet de ces valeurs extrêmes et vous fournit des informations plus précises et exploitables. La winsorisation est particulièrement utile lorsque :

• Vos données contiennent des valeurs extrêmes qui ne sont pas des erreurs mais qui restent significativement différentes des autres observations.
• Vous recherchez une méthode simple et efficace pour gérer les valeurs aberrantes sans recourir à des techniques plus complexes.
• Vous devez maintenir un équilibre entre l’intégrité des données et la gestion efficace des valeurs aberrantes.

​

Risques et bonnes pratiques avec la winsorisation

Bien que la winsorisation soit un outil précieux, elle n’est pas sans risques :

• Perte d’intégrité des données : une winsorisation excessive peut entraîner une altération importante de vos données, masquant potentiellement des variations et des tendances importantes.
• Sur-simplification : en modifiant les valeurs aberrantes, vous risquez de simplifier excessivement vos données, ce qui peut conduire à une compréhension incomplète de votre jeu de données.
• Introduction de biais : des seuils de winsorisation inappropriés peuvent introduire un biais, fausser vos résultats et conduire à des conclusions erronées. Si vous ne garantissez pas la symétrie autour de la moyenne (5e et 95e percentile), vous risquez de modifier la moyenne.

Pour atténuer ces risques, suivez les bonnes pratiques suivantes :

• Comprenez vos données : avant d’appliquer la winsorisation, comprenez en profondeur la nature et la distribution de vos données. Comprendre vos données vous aide à définir des seuils appropriés pour identifier les valeurs aberrantes.
• Définissez des seuils appropriés : utilisez des standards du secteur ou des informations spécifiques à vos données pour définir vos seuils de winsorisation. Les seuils courants incluent les 0,1 % à 5 % supérieurs et inférieurs de vos données, mais ils doivent être ajustés en fonction de votre cas d’usage spécifique.
• Évaluez l’impact : après avoir appliqué la winsorisation, évaluez son impact sur vos données et les résultats des tests. Comparez les données winsorisées aux données d’origine pour vous assurer qu’aucune information importante n’a été perdue.
• Documentez votre processus : conservez un registre détaillé de votre processus de winsorisation, y compris la justification des seuils choisis et l’impact sur vos données. Cette transparence facilite la reproductibilité et la compréhension.

​

Comment mettre en œuvre la winsorisation dans Kameleoon

​

1. Créer un objectif personnalisé

Vous devez d’abord créer un objectif personnalisé auquel vous souhaitez appliquer la winsorisation.

​

2. Définir des limites

Définissez des limites pour remplacer les valeurs aberrantes. Par exemple, si vous utilisez une winsorisation à 95 %, Kameleoon fixe tout point de données inférieur au 2,5e percentile à la valeur du 2,5e percentile, et tout point de données supérieur au 97,5e percentile à la valeur du 97,5e percentile. Ces bornes se trouvent dans les Paramètres avancés de votre objectif personnalisé. Si votre objectif personnalisé inclut une métrique Revenue, Kameleoon lui applique la winsorisation. Kameleoon calcule ces percentiles dans l’ensemble des données de votre compte pour cet objectif, et non par expérience. Pour plus de détails, consultez Étendue des seuils. Kameleoon applique la méthode de winsorisation à votre objectif personnalisé et identifie les valeurs aberrantes dans vos données.

​

3. Lire vos résultats

Une fois la winsorisation appliquée à votre objectif, vous pouvez consulter vos résultats ajustés dans les différentes pages de résultats contenant cet objectif. Le conteneur d’objectif affiche alors un badge indiquant que Kameleoon gère les valeurs aberrantes pour cet objectif. Survolez le badge pour afficher les paramètres que vous avez définis.

​

Exemple d’impact

Considérez un A/B test comparant deux pages de destination (A et B). Sans winsorisation, quelques valeurs aberrantes élevées (par exemple, des achats effectués par quelques utilisateurs très dépensiers) pourraient faire apparaître une page comme étant significativement plus efficace, même si le comportement typique des utilisateurs ne soutient pas cette conclusion.

• Données d’origine (métrique : revenu par utilisateur) :
  • Page A : [10, 12, 14, 15, 16, 18, 100]
  • Page B : [11, 13, 15, 15, 17, 19, 110]
• Données winsorisées :
  • Page A : [10, 12, 14, 15, 16, 18, 18]
  • Page B : [11, 13, 15, 15, 17, 19, 19]

Dans cet exemple, plafonner les valeurs extrêmes (100 et 110) permet d’obtenir une comparaison plus précise du revenu typique par utilisateur entre les deux pages.

​

Considérations techniques

Lorsque vous appliquez pour la première fois la winsorisation à un objectif personnalisé, Kameleoon calcule et stocke les valeurs des percentiles que vous avez définis, puis les utilise sur les pages de résultats pour ajuster vos données.

​

Étendue des seuils

Kameleoon calcule les percentiles de winsorisation dans l’ensemble des données de votre compte pour un objectif personnalisé, regroupés dans l’ensemble des expériences et variations qui utilisent cet objectif, et non par expérience. Cette étendue garantit que la définition d’une valeur aberrante pour un objectif reste cohérente partout où vous l’utilisez. En conséquence, deux expériences différentes qui utilisent le même objectif personnalisé partagent les mêmes seuils de winsorisation, même si les distributions de données sous-jacentes de ces expériences diffèrent les unes des autres.

​

Calendrier de recalcul

Kameleoon recalcule les valeurs de percentile utilisées pour plafonner les valeurs aberrantes une fois par jour à 3 h 00 du matin, en utilisant une fenêtre glissante de 14 jours de données de votre compte. Si vous modifiez les paramètres des seuils sur l’objectif personnalisé, Kameleoon réévalue les valeurs instantanément au lieu d’attendre le prochain recalcul programmé.

​

Comportement au fil du temps

Parce que les seuils sont recalculés quotidiennement à partir de la fenêtre glissante de 14 jours, les chiffres winsorisés sur une page de résultats peuvent continuer à changer à mesure que les données de votre compte évoluent, même pour les expériences que vous avez déjà arrêtées ou mises en pause. Une page de résultats peut afficher des chiffres winsorisés différents aujourd’hui par rapport à ce qu’elle affichait la semaine dernière, indépendamment de la question de savoir si l’expérience est toujours en cours. Si vous avez besoin d’un enregistrement stable et permanent de la valeur exacte que Kameleoon a rapportée à un moment précis, à des fins de rapport ou d’audit, utilisez plutôt l’export brut. Kameleoon ne modifie jamais les données brutes exportées, de sorte que l’export brut reste fixe peu importe comment les seuils de winsorisation de votre compte changent par la suite.