Este artículo explica los holdouts para Web Experimentation. Para utilizar holdouts en Feature Experimentation, consulte este documento de ayuda.
¿Qué es un holdout?
Un holdout es un grupo de control en Kameleoon que no ve ningún experimento ni ningún cambio. Se utiliza para crear una baseline frente a la cual puede medir el impacto global de todos los experimentos activos. En lugar de comparar grupos de prueba individuales, un holdout le permite medir el efecto acumulado de todos los cambios sobre la interacción del usuario u otras métricas.Ventajas clave
En un test A/B típico, se compara a los usuarios que ven un único experimento con los que no lo ven. Sin embargo, cuando se ejecutan varios experimentos, los resultados pueden solaparse e influirse mutuamente, lo que dificulta ver el efecto global de los cambios. Un holdout resuelve esto mediante:- Proporcionar una baseline: el grupo de holdout no recibe ningún experimento, lo que crea un claro punto de comparación.
- Medir el impacto agregado: con un holdout, puede ver si el impacto total de sus cambios es positivo comparándolo con un grupo que no ve ninguno de ellos.
Ejemplo de holdout
Imagine un sitio de e-commerce que ejecuta tres experimentos: cambiar los colores de los botones, actualizar las imágenes de los productos y añadir una sección «Top Picks». El grupo de holdout:- Vería las versiones originales de cada uno de estos elementos (sin cambios aplicados).
- Actuaría como baseline para comprender si el efecto acumulado de estos cambios realmente mejora las tasas de conversión o la interacción.
Configuración de un holdout en Kameleoon
- Cree un nuevo experimento: configure un experimento en Kameleoon y aplíquele la etiqueta «HOLDOUT».
- Establezca la división del tráfico: divida su tráfico de modo que un grupo (Control) no vea ningún experimento, y el otro (Variation) pueda asignarse a cualquier experimento (siempre que cumpla los criterios de targeting).
- Añada goals: defina los goals que desea seguir en el experimento. Estos goals serán esenciales para comparar el rendimiento del grupo de holdout con el de los visitantes que no están en el holdout.
- Lance su experimento: una vez creado y lanzado el experimento de holdout, no se necesita más configuración. Simplemente, supervise su rendimiento a lo largo del tiempo consultando la página de resultados del experimento etiquetado como holdout.
Buenas prácticas
- Asignación de tráfico: recomendamos crear un holdout con un máximo del 10 % de tráfico excluido durante un periodo limitado, normalmente de tres a seis meses. Esta asignación garantiza una baseline fiable sin afectar significativamente al tráfico global.
- Segmentación sencilla: puede configurar varios grupos de holdout para distintos segmentos, por ejemplo uno para escritorio y otro para móvil. No obstante, conviene evitar reglas de targeting demasiado complejas para un holdout, a fin de mantener la claridad y la eficacia.