Faire un test A/B de votre barre de livraison offerte sur Shopify

Ce que mesure le test

Un test A/B mesure une seule chose : ce que la barre de progression vous rapporte. Chaque visiteur est placé au hasard dans l’un des deux groupes. Le premier voit votre boutique comme aujourd’hui, avec la barre et vos paliers. Le second fait ses achats sans la barre. À la fin, Yaco compare le chiffre d’affaires par visiteur des deux groupes.

Vous choisissez ce que perd le second groupe. Avec La barre et ses offres, il n’a ni la barre, ni vos cadeaux, ni les remises de Yaco : le test mesure tout ce que la barre vous rapporte. Avec La barre seulement, il garde ses cadeaux et ses remises : le test mesure ce que l’affichage de la barre ajoute à vos offres.

Un visiteur reste dans le même groupe d’une page à l’autre et lors de ses visites suivantes, et d’un appareil à l’autre s’il est connecté à son compte client. Le tirage se fait dans le navigateur, à partir de la configuration déjà chargée : le test ne ralentit pas votre boutique.

Ce que vivent les visiteurs sans la barre

Dans les deux cas :

• Aucune barre de progression : ni dans le tiroir panier, ni sur la page panier, ni sur les fiches produit, ni dans les blocs d’app, ni au checkout.
• Les recommandations de produits restent affichées, sans aucune mention des paliers.
• Les offres qui ne viennent pas de Yaco restent en place, comme vos tarifs de livraison, vos propres remises automatiques et les codes promo.

Avec La barre et ses offres (le choix par défaut) :

• Aucun palier n’est débloqué : aucun cadeau n’est ajouté, la modale cadeau ne s’ouvre jamais, et aucune remise ni livraison offerte de Yaco ne s’applique, ni sur la boutique ni au checkout. Un cadeau déjà dans leur panier est retiré.

Avec La barre seulement :

• Les paliers se débloquent comme d’habitude : les cadeaux sont ajoutés, la modale cadeau s’ouvre quand il y a un choix, et les remises et la livraison offerte de Yaco s’appliquent, sur la boutique comme au checkout. Seuls la barre, le résumé des offres et la mention de palier des recommandations sont masqués : la modale cadeau, le bouton cadeau et la liste des cadeaux restent, pour que vos visiteurs puissent réclamer leur cadeau.

Seul votre thème publié est testé. L’éditeur de thème et les aperçus de thème affichent toujours la barre. Les visiteurs dont le navigateur bloque le stockage, comme le font certains modes de navigation privée, restent en dehors du test : ils voient la barre et ne sont pas comptés.

Qui peut l’utiliser

Les tests A/B sont inclus dans tous les plans payants : Starter, Premium, Optimize, et les anciens plans qui ne sont plus proposés. Le plan gratuit ne les inclut pas. L’entrée de menu Tests A/B (Beta) est visible sur tous les plans ; sur le plan gratuit, la page présente la fonctionnalité et renvoie vers les plans. Si votre boutique passe au plan gratuit ou si vous désinstallez l’app pendant un test, le test s’arrête. Voir abonnement et la page tarifs.

Lancer un test

1. Ouvrez Tests A/B (Beta).
2. Sous Choisissez un réglage, cliquez sur 50/50, 70/30, 80/20 ou 90/10. Chacun affiche sa durée recommandée pour votre boutique, et un clic règle à la fois le partage et la durée. 50/50 porte la mention Le plus rapide. Pour régler le partage vous-même, déplacez le curseur Partage des visiteurs, de 1 % à 99 % des visiteurs avec la barre, au pourcent près.
3. Sous Écart à repérer, gardez 15 % (standard) ou choisissez 20 % (gros écart) ou 10 % (écart fin). Le test conclut si la barre change le chiffre d’affaires par visiteur d’au moins cet écart.
4. Sous Ce que perdent les visiteurs sans la barre, gardez La barre et ses offres ou choisissez La barre seulement.
5. Sous Durée, gardez la durée recommandée ou choisissez-en une autre, de 1 à 8 semaines.
6. Cliquez sur Lancer le test. Une fenêtre résume le test avant son départ : sa durée, sa date de fin, la part des visiteurs qui n’auront pas la barre et ce qu’ils perdent. Confirmez pour le lancer.

Un seul test tourne à la fois. Le partage, l’écart à repérer, la durée et ce que perdent les visiteurs sans la barre ne se modifient plus une fois le test lancé : arrêtez-le et lancez-en un nouveau. Vous recevez un email au lancement du test, avec un lien vers le test.

Comment la durée est recommandée

Yaco lit vos commandes en ligne des 28 derniers jours : combien vous en recevez par jour, et à quel point leurs montants varient. Il en déduit le nombre de commandes dont le test a besoin pour détecter l’écart de chiffre d’affaires par visiteur que vous avez choisi, selon les standards habituels (niveau de confiance de 95 %, puissance de 80 %), puis convertit ce nombre en semaines.

• La durée est arrondie à la semaine entière, pour que chaque jour de la semaine ait le même poids : de 1 à 8 semaines.
• Plus l’écart à repérer est fin, plus le test a besoin de commandes, donc plus il dure. Un écart deux fois plus fin demande quatre fois plus de commandes.
• Un partage autre que 50/50 demande plus de commandes : la durée recommandée s’allonge. Près des extrêmes, comme 95/5, elle dépasse vite 8 semaines.
• Le maximum est de 8 semaines. Si votre boutique en demande davantage, le test est réglé sur 8 semaines et le formulaire vous indique le plus petit écart qu’il pourra encore détecter.
• Avec trop peu de commandes récentes, ou si Yaco ne peut pas les lire, la durée est réglée sur le maximum.

L’icône ⓘ à côté de chaque durée recommandée montre le calcul : les commandes nécessaires, divisées par les commandes que votre boutique reçoit par jour, donnent un nombre de jours, arrondi à la semaine entière.

Si vous choisissez une durée plus courte que celle recommandée, le formulaire vous indique le plus petit écart que le test pourra encore voir.

Suivre le test

La page Tests A/B (Beta) affiche le test en cours : le jour en cours sur la durée prévue, le chiffre d’affaires par visiteur de chaque groupe, l’écart entre les deux, la probabilité que la barre rapporte plus, et les commandes collectées sur celles nécessaires. Le nombre de commandes nécessaires est fixé au lancement et ne change plus pendant le test. Un tableau ajoute Panier moyen, Taux de conversion, Commandes, Visiteurs, Chiffre d’affaires et Commandes au-dessus d’un palier pour chaque groupe.

Les chiffres bougent beaucoup les premiers jours. N’arrêtez pas le test dès qu’un écart apparaît : c’est la façon la plus courante d’obtenir un faux résultat. Une fois les commandes nécessaires réunies et au moins 2 semaines de test passées (ou la semaine prévue pour un test d’une semaine), la page affiche Échantillon atteint : vous pouvez alors arrêter le test sans perdre son verdict. Sinon, il continue jusqu’à sa fin prévue.

La page d’accueil de l’app affiche un résumé du test en cours. Tant qu’il tourne, les autres chiffres de la page d’accueil mélangent les deux groupes.

Votre équipe n’est jamais tirée au sort : un navigateur ou un compte client sorti des statistiques, à la main ou automatiquement, voit toujours la barre, et ses visites et ses commandes ne comptent pas (voir statistiques). Si vous ne tombez jamais dans le groupe sans barre, c’est pour cette raison.

Sous Vérifiez les deux versions, deux liens ouvrent votre boutique dans l’un ou l’autre groupe, pour voir ce que vivent vos visiteurs. C’est le seul moyen pour votre équipe de voir la boutique sans la barre. Les visites par ces liens comptent dans leur groupe, sauf celles de votre équipe : cochez Compter les visites de mon équipe pour compter les visites et les commandes qu’elle fait par ces liens.

Arrêter un test

Cliquez sur Arrêter le test, puis confirmez. Tous vos visiteurs voient de nouveau la barre. Vous pouvez arrêter un test quand vous le souhaitez. Avec Échantillon atteint, il garde son verdict. Avant, son résultat n’est qu’une tendance. La confirmation vous dit dans quel cas vous êtes.

Lire le résultat

Le test s’arrête tout seul à la fin de la durée prévue, et vous recevez un récapitulatif par email. Vous le recevez aussi quand vous arrêtez le test vous-même. La page affiche alors :

• le verdict : La barre vous rapporte plus, Votre boutique a fait mieux sans la barre, Pas d’écart mesurable, Pas assez de commandes pour conclure ou, pour un test arrêté avant sa date de fin sans les commandes nécessaires, Test arrêté avant la fin : pas de verdict ;
• l’écart de chiffre d’affaires par visiteur en grand : en vert si la barre gagne, en rouge si votre boutique a fait mieux sans elle ;
• si la durée a suffi : au moins 2 semaines (ou la semaine prévue pour un test d’une semaine), et soit le nombre de commandes nécessaire, soit la fin prévue avec un écart significatif ;
• le chiffre d’affaires par visiteur de chaque groupe, et le tableau complet.

Comment se fait la comparaison :

• Le chiffre d’affaires par visiteur est le sous-total des commandes d’un groupe divisé par ses visiteurs. Il compte les deux effets de la barre : plus de commandes et des paniers plus gros.
• Les commandes au-dessus d’un plafond comptent pour ce plafond, pour qu’une commande exceptionnelle ne décide pas du test. Le plafond est le 99e centile des montants de vos commandes, fixé au lancement du test.
• Un écart est jugé significatif avec un niveau de confiance de 95 %. En dessous de ce seuil, il peut être dû au hasard. Le gagnant n’est désigné qu’à la fin prévue du test, ou plus tôt une fois les commandes nécessaires réunies, mais jamais avant 2 semaines. Un test prévu sur 1 semaine conclut à sa date de fin. Un test arrêté avant ne donne qu’une tendance.
• Quand les deux groupes n’ont pas la part de visiteurs attendue, un bandeau en tête de page vous le dit : un cache, un script ou une autre app fausse peut-être le partage. Ne vous fiez pas encore au résultat, et passez par son bouton Contacter le support.

Les anciens tests restent listés sous Tests précédents, chacun avec un badge de verdict : La barre gagne, Mieux sans la barre, Pas d’écart ou Non concluant. Les tests terminés avant l’arrivée de ces badges n’en ont pas. Vous pouvez supprimer un test une fois qu’il est terminé.

Après le test

À la fin du test, tous les visiteurs voient de nouveau la barre : il n’y a rien à remettre en place. Si la barre a rapporté plus, gardez-la telle quelle. Si votre boutique a fait mieux sans elle, la page du résultat vous oriente vers vos paliers : un seuil trop haut peut décourager une partie des clients. Si le test n’a pas conclu, Relancer avec ces réglages ouvre le formulaire de lancement avec le même partage, le même écart à repérer et le même choix de ce que perdent les visiteurs sans la barre.