Un A/B test sur Shopify consiste à montrer deux versions d'une page ou d'un parcours à deux groupes de visiteurs, puis à comparer leurs résultats. Pour conclure juste, il faut calculer à l'avance le trafic nécessaire : avec un taux de conversion de 2 %, détecter une hausse de 20 % demande environ 20 000 visiteurs par version. Sous ce seuil, un « gagnant » est souvent un hasard. Voici la méthode de calcul, les outils disponibles en 2026 (dont Rollouts, l'outil natif de Shopify) et quoi tester quand le trafic manque.
Pourquoi la plupart des A/B tests e-commerce concluent faux
Trois erreurs reviennent sur presque toutes les boutiques que nous auditons :
- Arrêter le test trop tôt, dès qu'une version semble gagner. Les premiers jours, les écarts sont énormes et instables. Arrêter à ce moment revient à choisir un gagnant au hasard.
- Tester des détails (couleur d'un bouton, formulation d'un sous-titre) avec un trafic qui ne permet de détecter que des écarts importants.
- Juger sur le mauvais indicateur, par exemple le taux de clic sur un bloc, alors que l'objectif est le chiffre d'affaires par visiteur.
Un test mal conclu est pire qu'aucun test : il donne une fausse certitude et vous fait déployer des changements neutres, voire négatifs.
Calculer le trafic nécessaire pour un test significatif
La formule simplifiée la plus utilisée (règle de Lehr), pour un seuil de confiance de 95 % et une puissance de 80 % :
Visiteurs par version ≈ 16 × p × (1 - p) / d²
- p = votre taux de conversion actuel (0,02 pour 2 %) ;
- d = l'écart absolu que vous voulez détecter (pour +20 % sur 2 %, d = 0,004).
Exemples de calcul
| Taux actuel | Hausse à détecter (relative) | Visiteurs par version | Total |
|---|---|---|---|
| 2 % | +20 % | ~19 600 | ~39 200 |
| 2 % | +10 % | ~78 400 | ~156 800 |
| 3 % | +20 % | ~12 900 | ~25 800 |
| 8 % (ajout au panier) | +20 % | ~4 600 | ~9 200 |
Lecture : une boutique à 2 % de conversion et 20 000 visiteurs par mois met deux mois pour détecter une hausse de 20 %, et ne pourra pratiquement jamais détecter une hausse de 10 %. La même boutique peut en revanche tester l'ajout au panier en deux à trois semaines.
Ces calculs sont des repères. Pour un test réel, utilisez un calculateur de taille d'échantillon et fixez avant le lancement : l'indicateur principal, l'écart minimum qui vous intéresse et le nombre de visiteurs à atteindre.
Les outils d'A/B test sur Shopify
Rollouts, l'outil natif
Shopify a intégré à son administration Rollouts, qui permet de programmer des changements, de les publier progressivement et de lancer des expériences : une version de contrôle contre une version testée, avec répartition du trafic et comparaison des résultats. Il couvre le thème ainsi que les configurations de paiement et de comptes clients.
Ses points forts : aucun script tiers, pas d'abonnement supplémentaire, pas d'effet de clignotement. Ses limites : les expériences sont réservées à certains forfaits (vérifiez le vôtre dans le centre d'aide), et l'outil compare des versions complètes plutôt que des éléments isolés. Pour la plupart des tests structurants (nouvelle page produit, nouvelle navigation, nouveau panier), c'est suffisant.
Les applications spécialisées
Des applications comme Intelligems, Shoplift ou d'autres outils d'expérimentation couvrent des besoins que le natif ne gère pas : tests de prix, de frais de livraison, de remises, ciblage par appareil ou par source de trafic. Elles ajoutent un abonnement et parfois du code côté boutique : mesurez leur impact sur la vitesse.
Le test côté publicité
Pour comparer deux pages de destination, vous pouvez aussi répartir le trafic d'une même campagne entre deux URL, par exemple avec l'outil de test A/B de Meta. C'est pratique pour tester une landing page e-commerce face à la fiche produit, à condition que le suivi des conversions soit identique sur les deux pages.
La méthode en 7 étapes
- Partez d'un problème observé, pas d'une idée : chute dans l'entonnoir, question récurrente au service client, comportement vu dans les enregistrements de sessions.
- Formulez une hypothèse : « Afficher les frais de port sur la fiche produit réduira les abandons au paiement, car les frais sont la première surprise signalée. »
- Choisissez un indicateur principal : taux de conversion ou chiffre d'affaires par visiteur, selon le test.
- Calculez l'échantillon et la durée nécessaires.
- Lancez sur au moins une semaine complète, hors période promotionnelle.
- N'arrêtez qu'une fois l'échantillon atteint, même si le résultat semble évident avant.
- Documentez le résultat, gagnant ou perdant, dans un journal de tests partagé.
Un test perdant n'est pas un échec : il vous évite de déployer une mauvaise idée et apprend quelque chose sur vos clients.
Lire les résultats sans se tromper
Une fois l'échantillon atteint, trois vérifications avant de déclarer un gagnant.
1. La significativité. La plupart des outils affichent une probabilité ou un niveau de confiance. En dessous de 95 %, considérez le test comme non concluant : les deux versions se valent, ou l'écart est trop faible pour être détecté avec votre trafic.
2. L'indicateur économique. Une version peut augmenter le taux de conversion tout en baissant le panier moyen, par exemple si elle met en avant un produit moins cher. Regardez le chiffre d'affaires par visiteur, et si possible la marge par visiteur.
3. La cohérence par segment. Vérifiez que le résultat tient sur mobile et sur ordinateur, et sur les principales sources de trafic. Un gagnant porté uniquement par une journée exceptionnelle ou par une seule campagne est fragile.
Exemple hypothétique : la version B affiche 2,3 % de conversion contre 2,0 % pour A, avec 20 000 visiteurs chacune. Mais son panier moyen est de 48 € contre 55 € pour A. Chiffre d'affaires par visiteur : 1,10 € pour B, 1,10 € pour A. Aucun gain réel : la version B vend plus souvent, mais moins cher. Sans ce calcul, vous auriez déployé un changement neutre en le croyant gagnant.
Quoi tester en priorité
Plus votre trafic est faible, plus vos tests doivent être ambitieux. Classement indicatif, du plus fort impact potentiel au plus faible :
| Priorité | Type de test | Exemples |
|---|---|---|
| 1 | Offre | Bundle, remise par quantité, seuil de livraison, garantie |
| 2 | Promesse | Titre de la fiche produit, angle principal, bénéfice mis en avant |
| 3 | Structure | Ordre des sections, avis plus haut, FAQ produit, galerie |
| 4 | Parcours | Tiroir de panier ou page panier, paiement express mis en avant |
| 5 | Détails | Couleur, formulation d'un bouton, icônes |
Les leviers de rang 1 à 3 sont ceux qui produisent des écarts détectables. Notre liste des leviers pour augmenter le taux de conversion Shopify est une bonne réserve d'hypothèses.
Sous le seuil de trafic : que faire à la place ?
Si votre boutique fait moins de 10 000 visiteurs par mois, un A/B test sur l'achat est rarement concluant. Alternatives utiles :
- tester un indicateur intermédiaire (ajout au panier, passage au paiement), plus fréquent ;
- analyser des enregistrements de sessions et des cartes de chaleur pour repérer les blocages ;
- faire des tests utilisateurs : cinq personnes de votre cible qui commandent devant vous, en commentant à voix haute ;
- appliquer les bonnes pratiques établies sans les tester (paiements express, frais affichés tôt, avis visibles) ;
- comparer avant et après avec prudence, en tenant compte de la saisonnalité et des variations de budget publicitaire.
Pour savoir où vous vous situez, comparez-vous aux taux de conversion moyens par secteur, sans en faire un objectif absolu.
A/B test et publicité : le même raisonnement
La logique est la même pour les créas : un test publicitaire mal dimensionné désigne des gagnants au hasard. La différence, c'est que la publicité génère du volume plus vite. Tester des angles et des formats de créas est souvent le moyen le plus rapide d'apprendre ce qui fait acheter vos clients, puis de reporter ces enseignements sur le site. Pour alimenter ces tests en variantes, Le Lab produit des créas IA en 72 heures.
Les erreurs à éviter
- Regarder les résultats tous les jours et arrêter au premier écart favorable.
- Lancer plusieurs tests sur les mêmes visiteurs sans les isoler.
- Tester pendant les soldes ou le Black Friday, où les comportements ne ressemblent pas au reste de l'année.
- Changer la campagne publicitaire en cours de test, ce qui modifie la qualité du trafic.
- Oublier le mobile : un gagnant sur ordinateur peut être perdant sur mobile. Si votre outil le permet, lisez les résultats par appareil.
Par où commencer cette semaine
- Relevez votre trafic mensuel et votre taux de conversion.
- Calculez l'écart minimum que vous pouvez détecter en quatre semaines avec la formule ci-dessus.
- Choisissez un test d'offre ou de promesse capable de produire cet écart.
- Vérifiez l'accès à Rollouts sur votre forfait, ou choisissez une application.
- Ouvrez un journal de tests : hypothèse, dates, échantillon, résultat, décision.
Tester fait partie de la méthode de l'Écosystème, notre accompagnement de 90 jours, et de notre offre Shopify et CRO. La démarche d'ensemble est décrite dans notre guide de l'optimisation de la conversion e-commerce. Pour construire votre premier plan de tests avec nous, vous pouvez réserver un appel stratégique de 30 minutes.