Hai impostato un test di ottimizzazione della pagina prodotto, è in corso da settimane e la confidenza non arriva ancora al 90%. A volte il miglioramento passa addirittura da +12% a −3% e viceversa.
Il test non è rotto. Quasi sempre il motivo è uno di due: non abbastanza impressioni, oppure una modifica troppo piccola per essere misurata. Questa guida mostra quante impressioni servono davvero a un test e come progettarne uno che finisca entro il limite di 90 giorni di Apple.
Cosa significa "confidenza" in App Store Connect #
Per ogni trattamento, App Store Connect mostra le impressioni, il tasso di conversione, il miglioramento rispetto all'originale e un livello di confidenza. Apple etichetta un trattamento come migliore o peggiore quando raggiunge il 90% di confidenza.
In parole semplici: il 90% di confidenza significa che la differenza che vedi difficilmente è frutto del caso. Sotto quella soglia, la variante potrebbe essere migliore, oppure potresti star guardando del rumore. Apple consiglia di aspettare che almeno un trattamento arrivi al 90% prima di applicarlo.
Il test non si ferma da solo quando ci arriva. Continua finché non lo fermi, non applichi un trattamento o non raggiungi i 90 giorni.
Quante impressioni servono a un test #
Il numero di impressioni necessarie dipende soprattutto da quanto è grande l'aumento che vuoi rilevare. La tabella qui sotto usa un test standard a due proporzioni con il 90% di confidenza e l'80% di potenza statistica. Apple non pubblica il metodo esatto che usa, quindi considera questi valori come stime di pianificazione, non come promesse.
Impressioni necessarie per variante (l'originale ne richiede altrettante):
| Tasso di conversione attuale | Aumento +5% | Aumento +10% | Aumento +20% | Aumento +30% |
|---|---|---|---|---|
| 2% | 248.000 | 64.000 | 17.000 | 7.700 |
| 3% | 164.000 | 42.000 | 11.000 | 5.100 |
| 5% | 96.000 | 25.000 | 6.400 | 3.000 |
Saltano all'occhio due cose:
- Dimezzare l'aumento quadruplica circa le impressioni. Rilevare +5% richiede circa 15 volte le impressioni necessarie per rilevare +20%.
- Un tasso di conversione più basso richiede più traffico. Gli eventi rari sono più difficili da misurare.
Cosa significa in giorni #
Ecco gli stessi calcoli espressi in giorni, per un tasso di conversione del 3%, una variante e il 50% del traffico inviato al test:
| Impressioni al giorno | Aumento +5% | Aumento +10% | Aumento +20% | Aumento +30% |
|---|---|---|---|---|
| 500 | 656 giorni ❌ | 168 giorni ❌ | 44 giorni | 21 giorni |
| 2.000 | 164 giorni ❌ | 42 giorni | 11 giorni | 6 giorni |
| 10.000 | 33 giorni | 9 giorni | 3 giorni | 2 giorni |
Un'app con 500 impressioni al giorno non può rilevare un aumento del 10% entro 90 giorni, per quanto aspetti. È il motivo più comune per cui un test non raggiunge mai la confidenza: non ci sarebbe mai arrivato.
Prova i tuoi numeri nel calcolatore gratuito di A/B test per l'App Store. Ti mostra anche l'aumento più piccolo che il tuo traffico può rilevare in 90 giorni.
Cinque modi per far finire un test #
1. Testa una modifica più grande #
È di gran lunga la leva più efficace. Invece di cambiare una parola in una didascalia, cambia completamente il primo screenshot, o l'intero stile delle didascalie. Una modifica decisa che potrebbe spostare la conversione del 20% o più si misura anche con un traffico modesto; un ritocco che vale il 3% no. La nostra lista di 25 idee di A/B test per gli screenshot ne contiene parecchie di coraggiose.
2. Usa meno varianti #
Ogni variante ha bisogno dell'intero numero di impressioni. Con 2.000 impressioni al giorno, un aumento del 10% e il 50% del traffico al test, una variante richiede circa 42 giorni. Tre varianti richiedono circa 126 giorni, oltre il limite. Se il traffico è scarso, testa una variante alla volta.
3. Manda più traffico al test #
Con una variante, la ripartizione 50/50 è la più rapida. Con più varianti, manda più traffico al test: la ripartizione più rapida mette lo stesso numero di visitatori su ogni versione, cioè il 67% al test con due varianti e il 75% con tre. Nell'esempio sopra, portare tre varianti dal 50% al 75% riduce il test da 126 giorni a 84.
Il rovescio della medaglia: se una variante è peggiore, più persone la vedono mentre il test è in corso.
4. Testa dove c'è il tuo traffico #
Un test include le localizzazioni che scegli, e contano solo le impressioni di quei mercati. Testare in un solo mercato piccolo significa aspettare il traffico di quel mercato. Parti dal mercato con più traffico, oppure includi più mercati che ti aspetti reagiscano allo stesso modo. Vedi A/B test degli screenshot localizzati.
5. Fallo durare settimane intere, e non toccarlo #
I visitatori dei giorni feriali e quelli del fine settimana si comportano in modo diverso, quindi fai durare i test almeno una o due settimane intere anche se i numeri sembrano già decisi prima. E non fermare il test il primo giorno in cui supera il 90%. Controllare ogni giorno e fermarsi al primo numero che sembra buono rende molto più probabili le false vittorie.
Quando arrendersi con un test #
Se un test ha già avuto le impressioni previste dalla tua stima e la confidenza è ancora bassa, quello è un risultato: la variante non fa una differenza abbastanza grande da contare. Ferma il test, tieni l'originale e prova un'idea più coraggiosa. Non è un test fallito. Ora sai che quell'elemento non conta molto per i tuoi utenti.
Rendi i test abbastanza economici da ripeterli #
Il traffico limita quanti test puoi fare in un anno, quindi ognuno deve valerne la pena. Preparare le varianti non dovrebbe essere ciò che ti rallenta. In Screenshot Studio, una modifica al design si applica a tutte le lingue e dimensioni dispositivo, e la variante si carica direttamente nel tuo test di ottimizzazione della pagina prodotto. Leggi anche gli errori nell'ottimizzazione della pagina prodotto che sprecano un test.