Significativité statistique

​

Qu’est-ce que la significativité statistique ?

​

Test d’hypothèse

Lorsque vous lancez une expérience dans Kameleoon, vous voulez savoir si la variation que vous testez améliore réellement une métrique donnée par rapport à votre site d’origine. En termes statistiques, vous formulez une hypothèse, puis vous tentez de la réfuter en observant les données. Pour vous aider à décider, Kameleoon utilise le cadre statistique fréquentiste, qui évalue la probabilité d’observer les données collectées si l’hypothèse « nulle » est vraie. Kameleoon calcule cette probabilité sous la forme de la « p-value ».

​

Significativité et fiabilité statistiques

Une expérience est statistiquement significative si les données de l’échantillon collectées par Kameleoon sont suffisamment incompatibles avec les données que Kameleoon aurait dû observer sous l’hypothèse nulle. Pour vous aider à évaluer si le résultat d’une expérience est statistiquement significatif, Kameleoon calcule la fiabilité de l’expérience comme suit : “fiabilité” = 1 - “p-value”

​

Exemple

Considérez l’exemple suivant :

• Variation de référence : 142 000 visiteurs uniques testés, taux de conversion de 3,52 % (5 000 ventes)
• Variation 1 : 216 000 visiteurs uniques testés, taux de conversion de 3,64 % (1 850 ventes)

Cet exemple teste si la variation 1 est plus performante que la variation de référence. L’hypothèse nulle établit que la référence est aussi performante ou plus performante que la variation, et le test vise à la rejeter. Fixez un seuil de significativité de 0,05 pour limiter à 5 % le risque de rejeter à tort l’hypothèse nulle. La variation 1 surperforme la variation de référence, et la fiabilité atteint 96 %. Comme 96 % dépasse les 95 % de fiabilité exigés par un seuil de significativité de 0,05, le résultat est statistiquement significatif.

​

Vérifier la significativité statistique

Que vous utilisiez Google Analytics ou Kameleoon comme outil de reporting, Kameleoon calcule automatiquement la significativité statistique de votre expérience, ce qui vous permet de vérifier si une variation est plus ou moins efficace que la référence.

​

Fiabilité

Vérifiez la fiabilité de votre campagne sur la page Résultats de plusieurs façons.

​

Objectif principal

La section Primary goal du menu Overview indique le taux de fiabilité de votre variation pour l’objectif principal. Dans cet exemple, le taux de fiabilité des deux variations dépasse 99 %.

​

Graphiques

La section Charts du menu Overview affiche une représentation visuelle du taux de fiabilité au fil du temps. Utilisez le menu déroulant pour sélectionner les variations à afficher ; Kameleoon sélectionne toutes les variations par défaut. Vous pouvez également choisir d’afficher les données par Day, Week ou Month. Survolez le graphique pour afficher davantage de données sur le taux de fiabilité.

​

Métriques

Le menu Metrics affiche les taux de fiabilité. Cliquez sur Goals ou Variations pour consulter le taux de fiabilité par objectif ou par variation.

​

Que faire si vous n’atteignez pas une fiabilité suffisante

Si votre taux de fiabilité est stable mais insuffisant, examinez les causes courantes suivantes :

• Le trafic de la page est insuffisant.
• La différence entre les performances de l’original et celles de la variation est trop faible pour permettre de tirer des conclusions. Par exemple, la modification que vous avez apportée a peut-être très peu d’impact sur le comportement des visiteurs.

Cependant, vous pouvez tirer des conclusions à partir d’un taux de fiabilité qui se stabilise à 75 %. Si la page ne reçoit pas assez de trafic, le taux de fiabilité n’atteindra probablement pas 95 %. Même dans ce cas, la page de résultats de Kameleoon propose un large éventail de données et d’indicateurs pour vous aider à comprendre votre audience.