App Store Connect ti permette di eseguire un solo test di ottimizzazione della pagina prodotto alla volta, per un massimo di 90 giorni. Con un traffico modesto, potrebbero essere solo una manciata di test veri all'anno. Ogni test sprecato ti costa settimane.
Questi sono gli errori che li sprecano più spesso, e come evitarli uno per uno.
1. Cambiare tutto insieme #
La variante ha didascalie nuove, uno sfondo nuovo, un ordine nuovo e un nuovo primo screenshot. Vince. Cosa hai imparato? Niente che puoi usare nel prossimo design, perché non sai quale modifica ha fatto la differenza.
Invece: cambia una cosa per variante. Se hai tre varianti, usale per tre versioni della stessa idea: tre primi screenshot diversi, o tre stili di didascalia.
2. Testare una modifica troppo piccola per essere misurata #
Ritoccare una parola in una didascalia potrebbe spostare la conversione del 2%. Con un tasso di conversione del 3%, rilevare un aumento del 2% richiede circa un milione di impressioni per variante, che la maggior parte delle app non raggiunge in 90 giorni. Il test gira, la confidenza non arriva mai al 90% e non ne sai più di prima.
Invece: controlla i numeri prima di iniziare con il calcolatore di A/B test e, se il traffico è modesto, testa modifiche decise. Perché i test non raggiungono mai la confidenza spiega i numeri.
3. Fermarsi appena sembra andare bene #
Quarto giorno: +25%, e la confidenza ha appena superato il 90%. La applichi. Ma i primi numeri oscillano parecchio, e se controlli ogni giorno fermandoti al primo momento favorevole, spesso "vincerai" con una variante che non è affatto migliore.
Invece: stabilisci la durata minima prima di iniziare (almeno una o due settimane intere) e non fermarti prima, qualunque cosa dicano i numeri.
4. Testare durante una festività o un lancio #
Un test che attraversa il Black Friday, una vetrina sull'App Store o una tua campagna pubblicitaria misura un pubblico diverso da quello abituale. La variante vincente potrebbe non vincere in una settimana normale.
Invece: evita le settimane insolite, o almeno annota cosa è successo durante il test per poter valutare il risultato.
5. Troppe varianti per il tuo traffico #
Tre varianti significano che il traffico si divide in quattro, e ogni variante ha bisogno dell'intero numero di impressioni. Su un'app più piccola, questo trasforma un test di 40 giorni in uno di 120, che Apple non permette.
Invece: con un traffico limitato, confronta una sola variante con l'originale. Usa tre varianti solo quando hai il traffico per sostenerle.
6. Testare nelle localizzazioni sbagliate #
Il test conta solo il traffico delle localizzazioni che includi. Includi un solo mercato piccolo e aspetterai mesi. Unisci mercati molto diversi e una vittoria in uno può essere annullata da una sconfitta in un altro.
Invece: parti dal tuo mercato più grande e unisci solo mercati che ti aspetti reagiscano allo stesso modo. Vedi A/B test degli screenshot localizzati.
7. Dimenticare App Review #
Ogni trattamento viene esaminato prima che il test possa partire. Gli screenshot che violano le linee guida per gli screenshot dell'App Store, come affermazioni che non puoi dimostrare o un'interfaccia che nell'app non c'è, fanno rifiutare il test. E un'icona alternativa deve già essere nel binario dell'app pubblicata, quindi un test sull'icona richiede prima un aggiornamento.
Invece: tieni le varianti allo stesso livello della tua pagina prodotto e pianifica i test sull'icona in base alle release.
8. Errori durante il caricamento #
Caricare a mano significa trascinare un set di screenshot in ogni localizzazione e dimensione dispositivo di ogni trattamento. È facile mettere gli screenshot inglesi nel trattamento francese o sbagliare l'ordine, e te ne accorgi solo quando un risultato sembra strano, o dopo App Review.
Invece: controlla le localizzazioni di ogni trattamento prima dell'invio, oppure lascia fare a uno strumento. Screenshot Studio carica una variante direttamente nel test: scegli il test e la variante, e ogni lingua e dimensione dispositivo finisce al posto giusto.
9. Non annotare niente #
Sei mesi dopo: avevano vinto le didascalie più grandi o lo sfondo scuro? Senza appunti, testerai due volte la stessa idea.
Invece: prima di ogni test, annota la modifica, perché pensi che vincerà e la durata minima. Dopo, annota il risultato, anche quando è "nessuna differenza". Le nostre 25 idee di A/B test usano lo stesso formato modifica / ipotesi / successo.
Fai contare ogni test #
Un buon test è una sola modifica, abbastanza grande da essere misurata, fatta durare abbastanza, nel mercato giusto. Meno tempo serve per preparare e caricare le varianti, più del tuo anno va in test veri. È per questo che esiste Screenshot Studio.