Significancia estadística

​

¿Qué es la significancia estadística?

​

Prueba de hipótesis

Cuando lanza un experimento en Kameleoon, quiere saber si la variación que está probando realmente mejora una métrica determinada en comparación con su sitio original. En términos estadísticos, formula una hipótesis y luego intenta refutarla observando los datos. Para ayudarle a decidir, Kameleoon utiliza el marco estadístico frecuentista, que evalúa la probabilidad de que se observen los datos si la hipótesis “nula” es cierta. Kameleoon calcula esta probabilidad como el “p-valor”.

​

Significancia estadística y fiabilidad

Un experimento es estadísticamente significativo si los datos de la muestra que Kameleoon recopila son lo suficientemente inconsistentes con los datos que Kameleoon debería haber observado bajo la hipótesis nula. Para ayudarle a evaluar si el resultado de un experimento es estadísticamente significativo, Kameleoon calcula la fiabilidad del experimento de la siguiente manera: “fiabilidad” = 1 - “p-valor”

​

Ejemplo

Considere el siguiente ejemplo:

• Variación de referencia: 142 000 visitantes únicos probados, 3,52 % de tasa de conversión (5000 ventas)
• Variación 1: 216 000 visitantes únicos probados, 3,64 % de tasa de conversión (1850 ventas)

Este ejemplo pone a prueba si la variación 1 rinde mejor que la variación de referencia. La hipótesis nula establece que la referencia rinde igual o mejor que la variación, y la prueba busca rechazarla. Establezca un nivel de significancia de 0,05 para limitar al 5 % de las veces el riesgo de rechazar incorrectamente la hipótesis nula. La variación 1 supera a la variación de referencia, y la fiabilidad alcanza el 96 %. Como el 96 % supera el 95 % de fiabilidad que exige un nivel de significancia de 0,05, el resultado es estadísticamente significativo.

​

Comprobar la significancia estadística

Ya sea que utilice Google Analytics o Kameleoon como herramienta de informes, Kameleoon calcula automáticamente la significancia estadística de su experimento para que pueda comprobar si una variación rinde mejor o peor que la referencia.

​

Fiabilidad

Compruebe la fiabilidad de su campaña en la página de resultados de varias formas.

​

Objetivo principal

La sección Primary goal del menú Overview muestra la tasa de fiabilidad de su variación para el objetivo principal. En este ejemplo, la tasa de fiabilidad de ambas variaciones supera el 99 %.

​

Gráficos

La sección Charts del menú Overview muestra una representación visual de la tasa de fiabilidad a lo largo del tiempo. Utilice el menú desplegable para seleccionar qué variaciones mostrar; Kameleoon selecciona todas las variaciones por defecto. También puede optar por ver los datos por Day, Week o Month. Pase el cursor sobre el gráfico para ver más datos de la tasa de fiabilidad.

​

Métricas

El menú Metrics muestra las tasas de fiabilidad. Haga clic en Goals o Variations para ver la tasa de fiabilidad por objetivo o variación.

​

Qué hacer si no alcanza la fiabilidad suficiente

Si su tasa de fiabilidad es estable pero insuficiente, considere estas causas comunes:

• La página no recibe suficiente tráfico.
• La diferencia entre el rendimiento del original y el de la variación es demasiado pequeña para extraer conclusiones. Por ejemplo, la modificación que ha realizado podría tener muy poco impacto en el comportamiento de los visitantes.

No obstante, puede extraer conclusiones a partir de una tasa de fiabilidad que se estabiliza en el 75 %. Si la página no recibe suficiente tráfico, la tasa de fiabilidad probablemente no alcance el 95 %. Aun así, la página de resultados de Kameleoon sigue ofreciendo una amplia variedad de datos e indicadores que le ayudan a comprender a su audiencia.