Significativité statistique

​

Qu’est-ce que la significativité statistique ?

​

Test d’hypothèse

Lorsque vous lancez une expérience dans Kameleoon, vous souhaitez savoir si la variation que vous testez améliore réellement une certaine métrique par rapport à votre site d’origine. Lorsque vous formulez cela en termes statistiques, vous posez une hypothèse que vous tenterez ensuite de réfuter en observant les données. Pour vous aider à décider, Kameleoon utilise le cadre statistique fréquentiste, qui permet d’évaluer la probabilité d’observer les données collectées si l’hypothèse « nulle » est vraie. Cette probabilité est calculée par la « p-value »..

​

Significativité et fiabilité statistiques

Une expérience est statistiquement significative si les données de l’échantillon collectées par Kameleoon sont suffisamment incompatibles avec les données que Kameleoon aurait dû observer sous l’hypothèse nulle. Pour vous aider à évaluer si le résultat d’une expérience est statistiquement significatif, Kameleoon fournit la fiabilité de l’expérience, qui se calcule ainsi : “fiabilité” = 1 - “p-value”

​

Exemple

Prenons l’exemple ci-dessous :

• Variation de référence : 142 000 visiteurs uniques testés, taux de conversion de 3,52 % (5 000 ventes)
• Variation 1 : 216 000 visiteurs uniques testés, taux de conversion de 3,64 % (1 850 ventes)

Dans cet exemple, nous testons si la variation 1 est plus efficace que la variation de référence. Nous cherchons à rejeter l’hypothèse nulle, à savoir que la référence est aussi efficace ou moins efficace que la variation. Nous acceptons de rejeter à tort l’hypothèse nulle dans seulement 5 % des cas, nous fixons donc notre seuil de significativité à 0,05. Nous constatons que la variation 1 est plus efficace que la variation de référence, et la fiabilité est de 96 % : le résultat de l’expérience est statistiquement significatif à notre seuil de significativité de 5 %.

​

Vérifier la significativité statistique

Si vous utilisez Google Analytics ou Kameleoon comme outil de reporting, Kameleoon calculera automatiquement la significativité statistique de votre expérience, ce qui vous permettra de vérifier si une variation de votre expérience est plus ou moins efficace que la référence.

​

Fiabilité

La page Résultats vous permet de vérifier les performances de votre campagne. Il existe plusieurs façons de consulter la fiabilité.

​

Objectif principal

Le taux de fiabilité de votre variation par rapport à l’objectif principal est indiqué dans la section Primary goal du menu Overview. Ici, le taux de fiabilité pour les deux variations est >99 %.

​

Graphiques

Vous pouvez visualiser une représentation visuelle du taux de fiabilité au fil du temps dans la section Charts du menu Overview. Vous pouvez sélectionner les variations affichées via le menu déroulant (toutes les variations sont sélectionnées par défaut). Vous pouvez également choisir d’afficher les données par Day, Week ou Month. Survolez le graphique pour afficher davantage de données sur le taux de fiabilité.

​

Métriques

Les taux de fiabilité sont affichés dans le menu Metrics. Cliquez sur Goals ou Variations pour consulter le taux de fiabilité par objectif ou par variation.

​

Que faire si la fiabilité n’est pas suffisante ?

Si votre taux de fiabilité est stable mais insuffisant, plusieurs problèmes peuvent en être la cause. Parmi eux :

• Le trafic sur la page n’est pas suffisant.
• La différence entre les performances de l’original et celles de la variation est trop faible pour tirer des conclusions (par exemple, la modification que vous avez apportée a un impact très limité sur le comportement de vos visiteurs).

Cependant, vous pouvez tirer des conclusions pour votre site web à partir d’un taux de fiabilité stabilisé à 75 %. Si le trafic sur la page est insuffisant, votre taux de fiabilité n’atteindra probablement pas 95 %. Mais la page de résultats de Kameleoon propose une grande variété de données et d’indicateurs qui vous aideront à comprendre votre audience.