Significancia estadística

​

¿Qué es la significancia estadística?

​

Prueba de hipótesis

Cuando lanza un experimento en Kameleoon, quiere saber si la variación que está probando realmente mejora una determinada métrica en comparación con su sitio original. Cuando lo plantea en términos estadísticos, está formulando una hipótesis que después intentará refutar observando los datos. Para ayudarle a decidir, Kameleoon utiliza el marco estadístico frecuentista, que ayuda a evaluar la probabilidad de los datos observados si la hipótesis “nula” es cierta. Esta probabilidad se calcula mediante el “p-valor”.

​

Significancia estadística y fiabilidad

Un experimento es estadísticamente significativo si los datos de la muestra que Kameleoon recopila son lo suficientemente inconsistentes con los datos que Kameleoon debería haber observado bajo la hipótesis nula. Para ayudarle a evaluar si el resultado de un experimento es estadísticamente significativo, Kameleoon proporciona la fiabilidad del experimento, que se calcula como: “fiabilidad” = 1 - “p-valor”

​

Ejemplo

Veamos el siguiente ejemplo:

• Variación de referencia: 142 000 visitantes únicos testados, 3,52 % de tasa de conversión (5000 ventas)
• Variación 1: 216 000 visitantes únicos testados, 3,64 % de tasa de conversión (1850 ventas)

En este ejemplo, estamos probando si la variación 1 es más eficiente que la variación de referencia. Estamos intentando rechazar la hipótesis nula, que es que la referencia es igual o menos eficiente que la variación. Aceptamos rechazar incorrectamente la hipótesis nula solo el 5 % de las veces, por lo que establecemos nuestro nivel de significancia en 0,05. Observamos que la variación 1 es más eficiente que la variación de referencia, y la fiabilidad es del 96 %: el resultado del experimento es estadísticamente significativo con nuestro nivel de significancia del 5 %.

​

Comprobar la significancia estadística

Si utiliza Google Analytics o Kameleoon como herramienta de informes, Kameleoon calculará automáticamente la significancia estadística de su experimento, lo que le permitirá comprobar si una variación de su experimento es más o menos eficaz que la referencia.

​

Fiabilidad

La página de resultados le permite comprobar el rendimiento de su campaña. Hay varias formas de comprobar la fiabilidad.

​

Objetivo principal

La tasa de fiabilidad de su variación con respecto al objetivo principal se muestra en la sección Primary goal del menú Overview. Aquí, la tasa de fiabilidad de ambas variaciones es >99 %.

​

Gráficos

Puede ver una representación visual de la tasa de fiabilidad a lo largo del tiempo en la sección Charts del menú Overview. Puede seleccionar qué variaciones se muestran utilizando el menú desplegable (todas las variaciones están seleccionadas por defecto). También puede optar por ver los datos por Day, Week o Month. Pase el cursor sobre el gráfico para ver más datos de tasa de fiabilidad.

​

Métricas

Las tasas de fiabilidad se muestran en el menú Metrics. Haga clic en Goals o Variations para ver la tasa de fiabilidad por objetivo o variación.

​

¿Qué puede hacer si no se alcanza la fiabilidad suficiente?

Si su tasa de fiabilidad es estable pero insuficiente, puede haber algunos problemas. Entre ellos:

• El tráfico en la página no es suficiente.
• La diferencia entre el rendimiento del original y de la variación es demasiado pequeña para extraer conclusiones (por ejemplo, la modificación que ha realizado tiene un impacto muy pequeño en el comportamiento de sus visitantes).

No obstante, puede extraer conclusiones para su sitio web a partir de una tasa de fiabilidad estabilizada en el 75 %. Si el tráfico en la página no es suficiente, su tasa de fiabilidad probablemente no alcanzará el 95 %. Pero la página de resultados de Kameleoon ofrece una amplia variedad de datos e indicadores que le ayudarán a comprender a su audiencia.