App Store Connect ne permet de mener qu'un seul test d'optimisation de la page de produit à la fois, pendant 90 jours maximum. Avec un trafic modeste, cela représente peut-être une poignée de vrais tests par an. Chaque test gâché vous coûte des semaines.
Voici les erreurs qui les gâchent le plus souvent, et comment éviter chacune d'elles.
1. Tout changer à la fois #
La variante a de nouvelles légendes, un nouvel arrière-plan, un nouvel ordre et une nouvelle première capture. Elle gagne. Qu'avez-vous appris ? Rien que vous puissiez réutiliser dans votre prochain design, puisque vous ne savez pas quel changement a fait la différence.
À la place : changez une seule chose par variante. Si vous avez trois variantes, utilisez-les pour trois versions de la même idée : trois premières captures différentes, ou trois styles de légende.
2. Tester un changement trop petit pour être mesuré #
Retoucher un mot dans une légende peut faire bouger la conversion de 2 %. Avec un taux de conversion de 3 %, détecter une hausse de 2 % demande environ un million d'impressions par variante, ce que la plupart des apps n'obtiennent pas en 90 jours. Le test tourne, la confiance n'atteint jamais 90 %, et vous n'êtes pas plus avancé.
À la place : faites le calcul avant de commencer avec le calculateur de test A/B, et testez des changements audacieux si votre trafic est modeste. Pourquoi les tests n'atteignent jamais le niveau de confiance explique les chiffres.
3. S'arrêter dès que ça a l'air bien #
Jour quatre : +25 %, et la confiance vient de dépasser 90 %. Vous appliquez la variante. Mais les premiers chiffres varient énormément, et si vous vérifiez tous les jours pour vous arrêter au premier moment flatteur, vous « gagnerez » souvent avec une variante qui n'est pas meilleure du tout.
À la place : fixez la durée minimale avant de commencer (au moins une ou deux semaines complètes) et ne vous arrêtez pas avant, quoi que disent les chiffres.
4. Tester pendant des fêtes ou un lancement #
Un test qui couvre le Black Friday, une mise en avant sur l'App Store ou votre propre campagne publicitaire mesure un public différent de votre public habituel. La variante gagnante risque de ne pas gagner lors d'une semaine normale.
À la place : évitez les semaines inhabituelles, ou notez au moins ce qui s'est passé pendant le test pour pouvoir juger le résultat.
5. Trop de variantes pour votre trafic #
Trois variantes, c'est un trafic réparti en quatre, et chaque variante a besoin de la totalité des impressions. Pour une petite app, un test de 40 jours devient un test de 120 jours, ce qu'Apple ne permet pas.
À la place : avec un trafic limité, opposez une seule variante à l'original. N'utilisez trois variantes que si vous avez le trafic nécessaire.
6. Tester dans les mauvaises localisations #
Le test ne compte que le trafic des localisations que vous incluez. Incluez un petit marché et vous attendrez des mois. Regroupez des marchés très différents et une victoire sur l'un peut être annulée par une défaite sur l'autre.
À la place : commencez par votre plus gros marché et ne regroupez que des marchés dont vous attendez une réaction similaire. Voir les tests A/B de captures localisées.
7. Oublier App Review #
Chaque traitement est examiné avant que le test puisse démarrer. Des captures qui enfreignent les règles de l'App Store sur les captures, comme des affirmations que vous ne pouvez pas prouver ou une interface absente de l'app, font refuser le test. Et une icône d'app alternative doit déjà figurer dans le binaire de votre app publiée : un test d'icône demande donc d'abord une mise à jour de l'app.
À la place : appliquez aux variantes les mêmes exigences qu'à votre page de produit, et planifiez les tests d'icône autour d'une version.
8. Des erreurs au téléversement #
Téléverser à la main, c'est glisser un jeu de captures dans chaque localisation et chaque taille d'appareil de chaque traitement. On a vite fait de mettre des captures anglaises dans le traitement français ou de se tromper d'ordre, et on ne s'en rend compte que lorsqu'un résultat paraît étrange, ou après App Review.
À la place : vérifiez les localisations de chaque traitement avant de soumettre, ou laissez un outil s'en charger. Screenshot Studio téléverse une variante directement dans le test : vous choisissez le test et la variante, et chaque langue et chaque taille d'appareil arrive au bon endroit.
9. Ne rien noter #
Six mois plus tard : est-ce que ce sont les légendes plus grandes qui ont gagné, ou l'arrière-plan sombre ? Sans notes, vous testerez deux fois la même idée.
À la place : avant chaque test, notez le changement, pourquoi vous pensez qu'il va gagner et la durée minimale. Ensuite, notez le résultat, y compris « aucune différence ». Nos 25 idées de tests A/B suivent ce même format changement / hypothèse / succès.
Faites compter chaque test #
Un bon test, c'est un seul changement, assez important pour être mesuré, mené assez longtemps, sur le bon marché. Moins la création et le téléversement des variantes vous prennent de temps, plus votre année est consacrée à de vrais tests. C'est précisément pour cela que Screenshot Studio existe.