O App Store Connect só deixa você rodar um teste de Otimização da Página de Produto por vez, por até 90 dias. Com tráfego modesto, isso pode dar só um punhado de testes de verdade por ano. Cada teste desperdiçado custa semanas.
Estes são os erros que mais desperdiçam testes, e como evitar cada um.
1. Mudar tudo de uma vez #
A variante tem legendas novas, um fundo novo, uma ordem nova e um novo primeiro screenshot. Ela vence. O que você aprendeu? Nada que possa usar no próximo design, porque você não sabe qual mudança fez a diferença.
Em vez disso: mude uma coisa por variante. Se você tem três variantes, use-as para três versões da mesma ideia: três primeiros screenshots diferentes, ou três estilos de legenda.
2. Testar uma mudança pequena demais para ser medida #
Ajustar uma palavra em uma legenda pode mexer a conversão em 2%. Com uma taxa de conversão de 3%, detectar um aumento de 2% exige cerca de um milhão de impressões por variante, algo que a maioria dos apps não alcança em 90 dias. O teste roda, a confiança nunca chega a 90% e você continua sem saber nada.
Em vez disso: faça as contas antes de começar com a calculadora de teste A/B e, se o seu tráfego é modesto, teste mudanças ousadas. Por que os testes nunca atingem o nível de confiança explica os números.
3. Parar assim que parece bom #
Quarto dia: +25%, e a confiança acabou de passar de 90%. Você aplica. Mas os primeiros números oscilam muito, e, se você olha todo dia e para no primeiro momento favorável, muitas vezes vai "vencer" com uma variante que não é melhor em nada.
Em vez disso: defina a duração mínima antes de começar (pelo menos uma ou duas semanas completas) e não pare antes disso, digam o que disserem os números.
4. Rodar durante um feriado ou um lançamento #
Um teste que pega a Black Friday, um destaque na App Store ou a sua própria campanha de anúncios mede um público diferente do habitual. A vencedora pode não vencer em uma semana normal.
Em vez disso: evite semanas atípicas ou, pelo menos, anote o que aconteceu durante o teste para poder avaliar o resultado.
5. Variantes demais para o seu tráfego #
Três variantes significam que o seu tráfego é dividido em quatro, e cada variante precisa da quantidade total de impressões. Em um app menor, isso transforma um teste de 40 dias em um de 120, que a Apple não deixa rodar.
Em vez disso: com tráfego limitado, rode uma variante contra o original. Use três variantes só quando tiver tráfego para elas.
6. Testar nas localizações erradas #
O teste só conta o tráfego das localizações que você inclui. Inclua um único mercado pequeno e você vai esperar meses. Junte mercados muito diferentes e uma vitória em um pode ser anulada por uma derrota em outro.
Em vez disso: comece pelo seu maior mercado e junte só mercados que você espera que reajam de forma parecida. Veja testes A/B de screenshots localizados.
7. Esquecer o App Review #
Todo tratamento é revisado antes de o teste começar. Screenshots que desrespeitam as diretrizes de screenshots da App Store, como afirmações que você não consegue comprovar ou uma interface que não existe no app, fazem o teste ser rejeitado. E um ícone alternativo precisa já estar no binário do app publicado, então um teste de ícone exige uma atualização do app antes.
Em vez disso: mantenha as variantes no mesmo padrão da sua página de produto e planeje os testes de ícone em torno de uma versão.
8. Erros no envio #
Enviar à mão significa arrastar um conjunto de screenshots para cada localização e tamanho de tela de cada tratamento. É fácil jogar os screenshots em inglês no tratamento em francês ou errar a ordem, e você só percebe quando um resultado parece estranho, ou depois do App Review.
Em vez disso: confira as localizações de cada tratamento antes de enviar, ou deixe uma ferramenta fazer isso. O Screenshot Studio envia uma variante direto para o teste: você escolhe o teste e a variante, e cada idioma e tamanho de tela vai para o lugar certo.
9. Não anotar nada #
Seis meses depois: foram as legendas maiores que venceram, ou foi o fundo escuro? Sem anotações, você vai testar a mesma ideia duas vezes.
Em vez disso: antes de cada teste, anote a mudança, por que você acha que ela vai vencer e a duração mínima. Depois, anote o resultado, inclusive "nenhuma diferença". Nossas 25 ideias de teste A/B usam esse mesmo formato de mudança / hipótese / vitória.
Faça cada teste valer #
Um bom teste é uma mudança, grande o bastante para ser medida, rodando pelo tempo necessário, no mercado certo. Quanto menos tempo você gasta montando e enviando variantes, mais do seu ano vai para testes de verdade. É para isso que o Screenshot Studio existe.