Saltar al contenido principal
Los holdouts le permiten medir el impacto a largo plazo de las actualizaciones de producto excluyendo a un grupo de usuarios de esos cambios, lo que facilita el análisis de métricas clave a lo largo del tiempo. Este artículo explica cómo configurar y supervisar holdouts en Kameleoon.

​
Configuración de holdouts

Este artículo se centra en los holdouts para Feature Experimentation. Para utilizar holdouts en Web Experimentation, consulte este artículo.
Para comenzar, vaya al dashboard de Feature Experimentation y haga clic en el menú de tres puntos de la esquina superior derecha > Holdouts. Se abrirá el panel Holdouts.
En el panel verá una lista de sus proyectos de Kameleoon, cada uno con un resumen del estado de su holdout. De forma predeterminada, todos los proyectos mostrarán Not set en el estado del holdout.
Para configurar un holdout:
  1. Haga clic en un proyecto.
  2. Habilite un holdout activando el conmutador.
  3. Establezca la división del tráfico, normalmente entre 1-10 %. La división del tráfico es el porcentaje de usuarios que serán excluidos de todos los experimentos y despliegues mientras el holdout esté activo.
  4. Seleccione los goals clave que desea seguir. Estos deben ser métricas que su equipo valore a largo plazo, ya que el holdout las medirá en un entorno totalmente aislado, sin verse afectadas por ninguna actualización de producto.
Una vez finalizada la configuración, haga clic en Save para aplicar sus cambios y volver al dashboard. Cuando vuelva a abrir el panel Holdouts, verá un resumen que muestra qué holdouts se han configurado y si los resultados están disponibles.
Para ver los resultados del holdout:
Haga clic en un proyecto y seleccione Results en la parte inferior del panel. Se abrirá una página de informes específica donde puede:
  • Supervisar las tendencias de las métricas seleccionadas.
  • Compartir información con sus equipos de producto, datos e ingeniería.
  • Analizar el impacto a largo plazo de sus cambios.

​
Buenas prácticas

  • Diferencie los enfoques de prueba: utilice tests A/B para medir las reacciones inmediatas de los usuarios y tests de holdout para evaluar el impacto a largo plazo de las actualizaciones de producto. Planifique la duración de sus holdouts teniendo en cuenta esta distinción.
  • Céntrese en métricas clave: priorice los indicadores a largo plazo como la interacción, la retención y los ingresos. Evite basarse únicamente en métricas a corto plazo al evaluar el rendimiento de un holdout.
  • Fomente la colaboración entre equipos: mantenga una comunicación activa entre product managers, científicos de datos e ingenieros para garantizar que los holdouts se configuren, supervisen y analicen correctamente.
  • Tenga cuidado con la duración del holdout: equilibre la necesidad de obtener información a largo plazo con la experiencia del usuario. Mantener a los usuarios en un holdout durante demasiado tiempo, sin actualizaciones, puede generar insatisfacción.