Qué es el Sample Ratio Mismatch
Un Sample Ratio Mismatch (SRM) ocurre cuando la distribución real de los sujetos de prueba entre las variaciones del experimento no coincide con la distribución prevista. Esto significa que una variante recibe significativamente más o menos tráfico del esperado. El SRM provoca una distribución desigual del tráfico entre las variaciones, independientemente de si reparte el tráfico de forma equilibrada. Ejemplo: lanza una campaña con una asignación del 50 % del tráfico para el original y del 50 % para la variación. Si los datos muestran 50 000 visitantes para el original y 48 900 para la variación, la prueba nativa de detección de SRM integrada en Kameleoon marca los resultados como positivos para Sample Ratio Mismatch. Kameleoon detecta el SRM ejecutando una prueba de bondad de ajuste chi-cuadrado para determinar si una variable se ajusta a una distribución especificada. Kameleoon utiliza un umbral de 0,001 para el p-valor; un experimento da positivo en SRM si el p-valor cae por debajo de este umbral.
¿Por qué es relevante el SRM?
El SRM indica un sesgo en el mecanismo de asignación de tráfico del experimento. Este sesgo puede invalidar los resultados del experimento porque viola las hipótesis fundamentales que sustentan los cálculos estadísticos de las pruebas A/B. Este problema es especialmente relevante para sitios con mucho tráfico, donde incluso pequeñas discrepancias pueden impactar significativamente en los resultados y conducir a una mala toma de decisiones. Las alertas de SRM integradas en Kameleoon permiten tomar decisiones basadas en pruebas estadísticas en lugar de la intuición.Qué hacer cuando un experimento da positivo en SRM
No tiene por qué descartar inmediatamente los resultados del experimento cuando detecta un SRM. Si identifica el origen del SRM y la discrepancia desaparece tras filtrar a los visitantes problemáticos, todavía puede extraer conclusiones válidas. El SRM suele producirse cuando un navegador clasifica incorrectamente a un visitante debido a la incompatibilidad del código de la variación. En consecuencia, el visitante ve la referencia en lugar de la variación, y el sistema no recopila datos de exposición. Para solucionar este problema:- Abra la página Results del experimento. Pause primero el experimento para evitar seguir recopilando datos sesgados.
- Desplácese hasta un objetivo y haga clic en Breakdown.
- Aplique un filtro de desglose a todos los objetivos.
- En los informes de desglose, compruebe si la variable de desglose afecta a la asignación de tráfico. Compruebe Device type, Browser, Operating system y cualquier dato personalizado disponible. Si los informes muestran la discrepancia, ha identificado la variable responsable del SRM. De lo contrario, siga aplicando filtros de desglose hasta identificar la causa.
- Aplique un filtro a los resultados del experimento para excluir a los visitantes afectados por la asignación incorrecta. Con los resultados filtrados, puede determinar la variación ganadora.
¿Qué provoca el SRM?
Las causas raíz del SRM varían entre experimentos, organizaciones y usuarios. Utilice la siguiente lista de verificación para solucionar un experimento positivo en SRM:- Compruebe los identificadores únicos: asegúrese de utilizar un identificador único robusto para los visitantes. Por defecto, Kameleoon utiliza un ID de visitante único (el
visitorCodede Kameleoon). Kameleoon procesa con hash este código en el algoritmo de asignación para seleccionar una variación aleatoriamente. Si no utiliza el visitor code por defecto o datos personalizados para mapear un ID de usuario, el ID debe constar de al menos 16 caracteres aleatorios (letras minúsculas y números). - Verifique los retrasos de ejecución: asegúrese de que ningún retraso afecte a la ejecución de la variación. Por ejemplo, una variación podría redirigir a una página donde Kameleoon no está instalado.
- Revise los scripts de asignación personalizada: determine si el experimento utiliza scripts de asignación de variación personalizada. Estos scripts evitan el algoritmo de asignación estándar y pueden causar SRM.
- Compruebe los cambios de configuración: actualizar la desviación de la prueba, eliminar una variación o reasignar tráfico puede activar una marca de SRM.