À propos de la méthode Bayesian
L’approche Bayesian considère les paramètres que vous souhaitez estimer comme des constantes inconnues. Kameleoon modélise chaque paramètre comme une variable aléatoire. La méthode tire son nom de la règle de Bayes et vous permet de calculer des quantités indisponibles dans le cadre Frequentist. La règle de Bayes combine les résultats de l’expérience avec toute information a priori disponible ; cependant, l’A/B testing utilise des a priori non informatifs. En choisissant la distribution a priori, vous pouvez exploiter la distribution a posteriori pour calculer des valeurs telles que la probabilité qu’une variante apporte une amélioration par rapport à l’original.Accéder aux résultats Bayesian
Lorsque vous cliquez sur Résultats dans le tableau de bord, Kameleoon affiche par défaut la page de résultats classique. Pour accéder aux résultats générés par la statistique Bayesian :- Cliquez sur le menu Actions en haut à droite de la page.
- Sélectionnez Activer Bayesian.
Vous ne pouvez pas accéder à la page de résultats Bayesian si vous redirigez 100 % du trafic vers l’original ou si l’expérience ne compte aucun visiteur.
La page de résultats Bayesian
La structure de la page de reporting Bayesian est similaire à celle de la page de résultats classique. Cependant, certains éléments diffèrent :- De nouveaux indicateurs apparaissent, tels que la probabilité de battre la variation originale et la fiabilité des résultats selon Bayes.
- Plusieurs graphiques n’apparaissent pas sur la page, et la page n’affiche que le taux de conversion.
Définitions
Probabilité de battre l’original
Cette valeur représente la probabilité qu’une variation surperforme la page originale avec un taux de conversion plus élevé pour un objectif donné. Si vous allouez 0 % du trafic à l’original, les variations reçoivent 100 % du trafic et ne sont pas en concurrence avec l’original. Dans ce cas, l’indicateur devient la Probabilité d’être la variation gagnante.Métriques continues Bayesian
Lorsque vous survolez des métriques non binomiales (telles que Revenu par visite/visiteur ou Valeur moyenne du panier), un encart apparaît.
- Taux d’amélioration : Cette valeur indique le taux d’amélioration de la métrique. Elle apparaît en vert si elle est positive et en rouge si elle est négative, accompagnée d’un intervalle de crédibilité.
- Probabilité de gagner sur la référence : Cette valeur indique la probabilité que la variation surperforme la variation de contrôle. Elle apparaît en vert si elle est supérieure au seuil de fiabilité défini dans la configuration ; sinon, elle apparaît en rouge.
- Tableau d’intervalle de crédibilité : Les valeurs min et max définissent les bornes de l’intervalle de crédibilité autour du taux d’amélioration. Il y a 95 % de chances que le taux d’amélioration se situe entre ces valeurs. Les valeurs apparaissent en vert si elles sont positives et en rouge si elles sont négatives.