Passer au contenu principal
Dans un environnement multi-campagnes, comprendre l’impact réel des changements peut être un défi, surtout lorsque les expériences se chevauchent. Les Holdouts de Kameleoon résolvent ce problème en créant un groupe de contrôle qui reste insensible à toute campagne active. Cette fonctionnalité vous permet d’établir une base de référence fiable, afin que vous puissiez mesurer l’impact global de tous les changements par rapport à un groupe qui ne subit aucune modification. Dans cet article, nous explorerons comment fonctionnent les holdouts, pourquoi ils sont précieux pour une analyse pertinente, et comment les configurer dans Kameleoon.
Cet article explique les holdouts pour Web Experimentation. Pour utiliser les holdouts pour Feature Experimentation, consultez ce document d’aide.

​
Qu’est-ce qu’un Holdout ?

Un holdout est un groupe de contrôle dans Kameleoon qui ne voit aucune expérience ni aucun changement. Il est utilisé pour créer une base de référence par rapport à laquelle vous pouvez mesurer l’impact global de toutes les expériences actives. Plutôt que de comparer des groupes de test individuels, un holdout vous permet de mesurer l’effet cumulé de tous les changements sur l’engagement utilisateur ou d’autres métriques.

​
Principaux avantages

Dans un A/B test typique, vous comparez les utilisateurs qui voient une seule expérience à ceux qui ne la voient pas. Cependant, lorsque plusieurs expériences sont en cours, les résultats peuvent se chevaucher et s’influencer mutuellement, rendant difficile la visualisation de l’effet global des changements. Un holdout résout cela en :
  • Fournissant une base de référence : le groupe holdout ne reçoit aucune expérience, créant un point de comparaison clair.
  • Mesurant l’impact global : avec un holdout, vous pouvez voir si l’impact total de vos changements est positif en le comparant à un groupe qui n’en voit aucun.

​
Exemple de Holdout

Imaginez un site e-commerce exécutant trois expériences : changer les couleurs des boutons, mettre à jour les images des produits et ajouter une section « Top Picks ». Le groupe holdout :
  • Verra les versions originales de chacun de ces éléments (aucun changement appliqué).
  • Servira de base de référence pour comprendre si l’effet cumulé de ces changements améliore réellement les taux de conversion ou l’engagement.

​
Configurer un Holdout dans Kameleoon

  1. Créez une nouvelle expérience : configurez une expérience dans Kameleoon et appliquez le tag « HOLDOUT ».
  2. Définissez la répartition du trafic : répartissez votre trafic afin qu’un groupe (Control) ne voit aucune expérience, et que l’autre (Variation) puisse être attribué à n’importe quelle expérience (à condition qu’il réponde aux critères de ciblage).
  3. Ajoutez des objectifs : définissez les objectifs que vous souhaitez suivre dans l’expérience. Ces objectifs seront essentiels pour comparer les performances du groupe holdout avec les visiteurs qui ne sont pas dans le holdout.
  4. Lancez votre expérience : une fois l’expérience holdout créée et lancée, aucune configuration supplémentaire n’est nécessaire. Surveillez simplement ses performances au fil du temps en consultant la page Results de l’expérience taguée comme holdout.
Votre groupe de contrôle, qui ne voit aucun changement, devient votre base de référence pour mesurer l’impact global des expériences affichées au groupe de variation.

​
Bonnes pratiques

  • Allocation du trafic : nous recommandons de créer un holdout avec un maximum de 10 % de trafic exclu sur une période limitée, généralement de trois à six mois. Cette allocation garantit une base de référence fiable sans impact important sur le trafic global.
  • Segmentation simple : vous pouvez configurer plusieurs groupes holdout pour différents segments, par exemple un pour desktop et un autre pour mobile. Cependant, il est préférable d’éviter des règles de ciblage trop complexes pour un holdout afin de maintenir la clarté et l’efficacité.