Winsorización

​

¿Qué es la winsorización?

La winsorización es una técnica estadística que se utiliza para limitar los valores extremos en los datos con el fin de reducir el impacto de los valores atípicos mediante el uso de percentiles de sus datos. Los valores atípicos son puntos de datos que difieren significativamente del resto de observaciones y pueden distorsionar los resultados de sus pruebas A/B. Al winsorizar sus datos, puede asegurarse de que sus resultados sean más robustos y fiables.

​

Por qué la winsorización es importante en las pruebas A/B

En las pruebas A/B, usted compara dos o más variaciones para determinar cuál rinde mejor. Los valores atípicos pueden distorsionar el rendimiento real de estas variaciones y llevar a conclusiones engañosas. Aplicar la winsorización mitiga el efecto de estos valores extremos y le proporciona información más precisa y accionable. La winsorización es especialmente útil cuando:

• Sus datos contienen valores extremos que no son errores pero que aun así difieren significativamente de las demás observaciones.
• Busca un método sencillo y eficaz para manejar valores atípicos sin recurrir a técnicas más complejas.
• Necesita mantener un equilibrio entre la integridad de los datos y la gestión eficaz de los valores atípicos.

​

Riesgos y buenas prácticas con la winsorización

Aunque la winsorización es una herramienta valiosa, no está exenta de riesgos:

• Pérdida de integridad de los datos: un exceso de winsorización puede provocar una alteración significativa de sus datos, ocultando posiblemente variaciones y patrones importantes.
• Sobresimplificación: al modificar valores atípicos, puede sobresimplificar sus datos, lo que puede dar lugar a una comprensión incompleta de su conjunto de datos.
• Introducción de sesgos: umbrales de winsorización inadecuados pueden introducir sesgos, distorsionar sus resultados y conducir a conclusiones incorrectas. Si no garantiza la simetría en torno a la media (percentiles 5 y 95), podría alterar la media.

Para mitigar estos riesgos, siga estas prácticas recomendadas:

• Conozca sus datos: antes de aplicar la winsorización, comprenda a fondo la naturaleza y la distribución de sus datos. Comprender sus datos le ayuda a establecer umbrales adecuados para identificar valores atípicos.
• Establezca umbrales adecuados: utilice estándares del sector o conocimientos específicos de los datos para establecer sus umbrales de winsorización. Los umbrales comunes incluyen entre el 0,1 % y el 5 % superior e inferior de sus datos, pero deben ajustarse en función de su caso de uso específico.
• Evalúe el impacto: tras aplicar la winsorización, evalúe su impacto en sus datos y resultados de prueba. Compare los datos winsorizados con los originales para garantizar que no se pierda información importante.
• Documente su proceso: mantenga un registro detallado de su proceso de winsorización, incluida la justificación de los umbrales elegidos y el impacto en sus datos. Esta transparencia ayuda a la reproducibilidad y comprensión.

​

Cómo implementar la winsorización en Kameleoon

​

1. Crear un objetivo personalizado

Cree un objetivo personalizado al que aplicar la winsorización.

​

2. Establecer los límites

Establezca los límites para sustituir los valores atípicos. Por ejemplo, si utiliza una winsorización del 95 %, Kameleoon ajusta cualquier punto de datos por debajo del percentil 2,5 al valor del percentil 2,5, y cualquier punto de datos por encima del percentil 97,5 al valor del percentil 97,5. Encuentre estos límites en Advanced settings de su objetivo personalizado. Si su objetivo personalizado incluye una métrica de Revenue, Kameleoon le aplica la winsorización. Kameleoon calcula estos percentiles en todos los datos de la cuenta para el objetivo, no por experimento. Para más detalles, consulta Alcance de los umbrales. Kameleoon aplica el método de winsorización a su objetivo personalizado e identifica los valores atípicos en sus datos.

​

3. Leer sus resultados

Después de aplicar la winsorización a su objetivo, puede leer los resultados ajustados en cualquier página de resultados que incluya ese objetivo. El contenedor del objetivo muestra entonces un distintivo que indica que Kameleoon gestiona los valores atípicos de ese objetivo. Pase el cursor sobre el distintivo para ver los parámetros que ha establecido.

​

Ejemplo de impacto

Considere una prueba A/B que compara dos páginas de destino (A y B). Sin winsorización, unos pocos valores atípicos elevados (por ejemplo, compras realizadas por unos pocos usuarios que gastan mucho) podrían hacer que una página pareciera significativamente más eficaz, aunque el comportamiento típico del usuario no respaldara esta conclusión.

• Datos originales (métrica: ingresos por usuario):
  • Página A: [10, 12, 14, 15, 16, 18, 100]
  • Página B: [11, 13, 15, 15, 17, 19, 110]
• Datos winsorizados:
  • Página A: [10, 12, 14, 15, 16, 18, 18]
  • Página B: [11, 13, 15, 15, 17, 19, 19]

En este ejemplo, limitar los valores extremos (100 y 110) ofrece una comparación más precisa de los ingresos típicos por usuario entre las dos páginas.

​

Consideraciones técnicas

Cuando aplica por primera vez este método a su objetivo personalizado, Kameleoon calcula y almacena los valores de los percentiles que ha establecido, y luego los utiliza en las páginas de resultados para ajustar sus datos.

​

Alcance de los umbrales

Kameleoon calcula los percentiles de Winsorización en todos los datos de la cuenta para un objetivo personalizado, combinados en todos los experimentos y variaciones que utilizan ese objetivo, no por experimento. Este alcance mantiene la definición de un valor atípico para un objetivo consistente en todas partes donde se utiliza. Como resultado, dos experimentos diferentes que utilizan el mismo objetivo personalizado comparten los mismos umbrales de Winsorización, incluso cuando las distribuciones de datos subyacentes de esos experimentos difieren entre sí.

​

Calendario de recálculo

Kameleoon recalcula los valores de percentil utilizados para limitar los valores atípicos una vez al día a las 3:00 a.m., utilizando una ventana móvil de 14 días de datos de la cuenta. Si cambia la configuración de umbrales en el objetivo personalizado, Kameleoon reevalúa los valores al instante en lugar de esperar al próximo recálculo programado.

​

Comportamiento a lo largo del tiempo

Debido a que los umbrales se recalculan diariamente desde la ventana móvil de 14 días, las cifras winsorizadas en una página de resultados pueden seguir cambiando a medida que los datos de su cuenta evolucionan, incluso en experimentos que ya ha detenido o pausado. Una página de resultados puede mostrar números winsorizados diferentes hoy que hace una semana, independientemente de si el experimento sigue en ejecución. Si necesita un registro estable y permanente del valor exacto que Kameleoon reportó en un punto específico en el tiempo, para propósitos de informes o auditoría, use la exportación sin procesar en su lugar. Kameleoon nunca modifica los datos exportados sin procesar, por lo que la exportación sin procesar permanece fija sin importar cómo cambien después los umbrales de Winsorización de la cuenta.