Você configurou um teste de Otimização da Página de Produto, ele está rodando há semanas e o nível de confiança ainda não chega a 90%. Às vezes a melhoria até vira de +12% para −3% e volta.
O teste não está com defeito. Quase sempre o motivo é um de dois: impressões insuficientes ou uma mudança pequena demais para ser medida. Este guia mostra de quantas impressões um teste realmente precisa e como montar um que termine dentro do limite de 90 dias da Apple.
O que "confiança" significa no App Store Connect #
Para cada tratamento, o App Store Connect mostra as impressões, a taxa de conversão, a melhoria em relação ao original e um nível de confiança. A Apple marca um tratamento como melhor ou pior quando ele chega a 90% de confiança.
Em palavras simples: 90% de confiança significa que a diferença que você vê dificilmente é sorte. Abaixo disso, a variante pode ser melhor, ou você pode estar olhando para ruído. A Apple recomenda esperar até pelo menos um tratamento chegar a 90% antes de aplicá-lo.
O teste não para sozinho quando chega lá. Ele continua até você parar, aplicar um tratamento ou atingir 90 dias.
De quantas impressões um teste precisa #
O número de impressões de que um teste precisa depende principalmente de quão grande é o aumento que você quer detectar. A tabela abaixo usa um teste padrão de duas proporções com 90% de confiança e 80% de poder estatístico. A Apple não publica o método exato que usa, então trate esses números como estimativas de planejamento, não como promessas.
Impressões necessárias por variante (o original precisa da mesma quantidade):
| Taxa de conversão atual | Aumento de +5% | Aumento de +10% | Aumento de +20% | Aumento de +30% |
|---|---|---|---|---|
| 2% | 248.000 | 64.000 | 17.000 | 7.700 |
| 3% | 164.000 | 42.000 | 11.000 | 5.100 |
| 5% | 96.000 | 25.000 | 6.400 | 3.000 |
Duas coisas saltam aos olhos:
- Reduzir o aumento pela metade quadruplica, mais ou menos, as impressões. Detectar +5% exige cerca de 15 vezes as impressões necessárias para detectar +20%.
- Uma taxa de conversão menor exige mais tráfego. Eventos raros são mais difíceis de medir.
O que isso significa em dias #
Aqui está a mesma conta em dias, para uma taxa de conversão de 3%, uma variante e 50% do tráfego enviado para o teste:
| Impressões por dia | Aumento de +5% | Aumento de +10% | Aumento de +20% | Aumento de +30% |
|---|---|---|---|---|
| 500 | 656 dias ❌ | 168 dias ❌ | 44 dias | 21 dias |
| 2.000 | 164 dias ❌ | 42 dias | 11 dias | 6 dias |
| 10.000 | 33 dias | 9 dias | 3 dias | 2 dias |
Um app com 500 impressões por dia não consegue detectar um aumento de 10% em 90 dias, não importa quanto tempo espere. Esse é o motivo mais comum para um teste nunca atingir o nível de confiança: ele nunca iria chegar lá.
Teste os seus próprios números na calculadora gratuita de teste A/B da App Store. Ela também mostra o menor aumento que o seu tráfego consegue detectar em 90 dias.
Cinco jeitos de fazer um teste terminar #
1. Teste uma mudança maior #
Essa é, de longe, a alavanca mais eficaz. Em vez de trocar uma palavra em uma legenda, mude o primeiro screenshot inteiro, ou todo o estilo das legendas. Uma mudança ousada que pode mexer a conversão em 20% ou mais é mensurável com tráfego modesto; um ajuste que vale 3%, não. Nossa lista de 25 ideias de teste A/B para screenshots tem várias ideias ousadas.
2. Use menos variantes #
Cada variante precisa da quantidade total de impressões. Com 2.000 impressões por dia, um aumento de 10% e 50% do tráfego no teste, uma variante precisa de cerca de 42 dias. Três variantes precisam de cerca de 126 dias, o que passa do limite. Se o tráfego é apertado, teste uma variante por vez.
3. Envie mais tráfego para o teste #
Com uma variante, a divisão 50/50 é a mais rápida. Com mais variantes, envie mais tráfego para o teste: a divisão mais rápida coloca o mesmo número de visitantes em cada versão, ou seja, 67% para o teste com duas variantes e 75% com três. No exemplo acima, passar três variantes de 50% para 75% reduz o teste de 126 dias para 84.
A contrapartida: se uma variante for pior, mais pessoas a veem enquanto o teste roda.
4. Teste onde está o seu tráfego #
Um teste inclui as localizações que você escolhe, e só contam as impressões desses mercados. Testar em um único mercado pequeno significa esperar pelo tráfego desse mercado. Comece pelo seu mercado com mais tráfego, ou inclua vários mercados que você espera que reajam do mesmo jeito. Veja testes A/B de screenshots localizados.
5. Rode em semanas completas e não mexa #
Visitantes de dias úteis e de fim de semana se comportam de forma diferente, então rode os testes por pelo menos uma ou duas semanas inteiras, mesmo que os números pareçam decididos antes. E não pare o teste no primeiro dia em que ele passar de 90%. Olhar todo dia e parar no primeiro número bonito torna as falsas vitórias muito mais prováveis.
Quando desistir de um teste #
Se um teste já teve as impressões que a sua estimativa pedia e a confiança continua baixa, isso é um resultado: a variante não faz diferença suficiente para importar. Pare o teste, mantenha o original e tente uma ideia mais ousada. Não é um teste perdido. Agora você sabe que aquilo não importa muito para os seus usuários.
Deixe os testes baratos o bastante para repetir #
O tráfego limita quantos testes você consegue fazer por ano, então cada um precisa valer a pena. Montar variantes não deveria ser o que atrasa você. No Screenshot Studio, uma mudança de design vale para todos os idiomas e tamanhos de tela, e a variante é enviada direto para o seu teste de Otimização da Página de Produto. Leia também os erros na Otimização da Página de Produto que desperdiçam um teste.