Configuration des holdouts
Cet article se concentre sur les holdouts pour la Feature Experimentation. Pour utiliser les holdouts pour la Web Experimentation, consultez cet article.
- Cliquez sur un projet.
- Activez un holdout en basculant l’interrupteur.
- Définissez la répartition du trafic — généralement entre 1 et 10 %. La répartition du trafic est le pourcentage d’utilisateurs qui seront exclus de toutes les expériences et de tous les rollouts pendant que le holdout est actif.
- Sélectionnez les objectifs clés que vous souhaitez suivre. Il devrait s’agir de métriques que votre équipe valorise sur le long terme, car le holdout les mesurera dans un environnement totalement isolé, sans être affecté par les mises à jour produit.
- Surveiller les tendances de vos métriques sélectionnées.
- Partager des insights avec vos équipes produit, data et engineering.
- Analyser l’impact à long terme de vos modifications.
Bonnes pratiques
- Différenciez les approches de test : Utilisez les A/B tests pour mesurer les réactions immédiates des utilisateurs et les holdout tests pour évaluer l’impact à long terme des mises à jour produit. Planifiez la durée de vos holdouts en tenant compte de cette distinction.
- Concentrez-vous sur les métriques clés : Privilégiez les indicateurs à long terme tels que l’engagement, la rétention et le chiffre d’affaires. Évitez de vous appuyer uniquement sur des métriques à court terme pour évaluer la performance des holdouts.
- Encouragez la collaboration entre équipes : Maintenez une communication active entre les chefs de produit, les data scientists et les ingénieurs pour vous assurer que les holdouts sont correctement configurés, surveillés et analysés.
- Soyez attentif à la durée des holdouts : Équilibrez le besoin d’insights à long terme avec l’expérience utilisateur. Maintenir les utilisateurs dans un holdout trop longtemps — sans mises à jour — peut entraîner de l’insatisfaction.