Configuraste una prueba de optimización de la página de producto, lleva semanas en marcha y la confianza sigue sin llegar al 90 %. A veces la mejora incluso salta de +12 % a −3 % y vuelve.
La prueba no está rota. Casi siempre se debe a una de dos cosas: no hay suficientes impresiones, o el cambio es demasiado pequeño para medirlo. Esta guía muestra cuántas impresiones necesita de verdad una prueba y cómo diseñar una que termine dentro del límite de 90 días de Apple.
Qué significa «confianza» en App Store Connect #
Para cada tratamiento, App Store Connect muestra las impresiones, la tasa de conversión, la mejora respecto al original y un nivel de confianza. Apple marca un tratamiento como mejor o peor cuando alcanza un 90 % de confianza.
Dicho de forma sencilla: un 90 % de confianza significa que es poco probable que la diferencia que ves sea pura suerte. Por debajo de eso, la variante podría ser mejor o podrías estar viendo ruido. Apple recomienda esperar a que al menos un tratamiento llegue al 90 % antes de aplicarlo.
La prueba no se detiene sola al llegar ahí. Sigue en marcha hasta que la detienes, aplicas un tratamiento o se cumplen 90 días.
Cuántas impresiones necesita una prueba #
El número de impresiones que necesita una prueba depende sobre todo de cuánto aumento intentas detectar. La tabla siguiente usa una prueba estándar de dos proporciones con un 90 % de confianza y un 80 % de potencia. Apple no publica su método exacto, así que tómalas como estimaciones de planificación, no como promesas.
Impresiones necesarias por variante (el original necesita las mismas):
| Tasa de conversión actual | Aumento del +5 % | Aumento del +10 % | Aumento del +20 % | Aumento del +30 % |
|---|---|---|---|---|
| 2 % | 248.000 | 64.000 | 17.000 | 7.700 |
| 3 % | 164.000 | 42.000 | 11.000 | 5.100 |
| 5 % | 96.000 | 25.000 | 6.400 | 3.000 |
Hay dos cosas que saltan a la vista:
- Reducir el aumento a la mitad multiplica las impresiones por cuatro, más o menos. Detectar un +5 % requiere unas 15 veces más impresiones que detectar un +20 %.
- Una tasa de conversión más baja necesita más tráfico. Los sucesos poco frecuentes son más difíciles de medir.
Qué significa eso en días #
Estas son las mismas cuentas en días, para una tasa de conversión del 3 %, una variante y el 50 % del tráfico dirigido a la prueba:
| Impresiones diarias | Aumento del +5 % | Aumento del +10 % | Aumento del +20 % | Aumento del +30 % |
|---|---|---|---|---|
| 500 | 656 días ❌ | 168 días ❌ | 44 días | 21 días |
| 2.000 | 164 días ❌ | 42 días | 11 días | 6 días |
| 10.000 | 33 días | 9 días | 3 días | 2 días |
Una app con 500 impresiones al día no puede detectar un aumento del 10 % en 90 días, por mucho que espere. Ese es el motivo más habitual por el que una prueba nunca alcanza la confianza: nunca iba a hacerlo.
Prueba tus propios números en la calculadora gratuita de pruebas A/B del App Store. También te muestra el aumento más pequeño que tu tráfico puede detectar en 90 días.
Cinco formas de que una prueba termine #
1. Prueba un cambio mayor #
Es, con diferencia, la palanca más eficaz. En lugar de cambiar una palabra de una leyenda, cambia la primera captura entera, o todo el estilo de las leyendas. Un cambio atrevido que podría mover la conversión un 20 % o más se puede medir con un tráfico modesto; un retoque que valga un 3 %, no. Nuestra lista de 25 ideas de pruebas A/B para capturas tiene muchas ideas atrevidas.
2. Usa menos variantes #
Cada variante necesita la cantidad completa de impresiones. Con 2.000 impresiones al día, un aumento del 10 % y el 50 % del tráfico en la prueba, una variante necesita unos 42 días. Tres variantes necesitan unos 126 días, lo que supera el límite. Si vas justo de tráfico, prueba una variante cada vez.
3. Envía más tráfico a la prueba #
Con una variante, un reparto 50/50 es lo más rápido. Con más variantes, envía más tráfico a la prueba: el reparto más rápido pone el mismo número de visitantes en cada versión, es decir, un 67 % a la prueba con dos variantes y un 75 % con tres. En el ejemplo anterior, pasar tres variantes del 50 % al 75 % reduce la prueba de 126 días a 84.
La contrapartida: si una variante es peor, la ve más gente mientras dura la prueba.
4. Prueba donde está tu tráfico #
Una prueba incluye las localizaciones que eliges, y solo cuentan las impresiones de esos mercados. Probar en un mercado pequeño significa esperar al tráfico de ese mercado. Empieza en tu mercado con más tráfico, o incluye varios mercados que esperes que reaccionen igual. Consulta pruebas A/B de capturas localizadas.
5. Hazla en semanas completas y no la toques #
Los visitantes de entre semana y los del fin de semana se comportan de forma distinta, así que mantén las pruebas al menos una o dos semanas completas aunque los números parezcan decididos antes. Y no detengas la prueba el primer día que supere el 90 %. Mirarla cada día y pararla en el primer número bonito hace mucho más probables las victorias falsas.
Cuándo abandonar una prueba #
Si una prueba ya ha recibido las impresiones que pedía tu estimación y la confianza sigue siendo baja, eso es un resultado: la variante no marca una diferencia lo bastante grande como para importar. Detén la prueba, quédate con el original y prueba una idea más atrevida. No es una prueba fallida. Ahora sabes que eso no les importa mucho a tus usuarios.
Haz que probar sea tan barato que puedas repetirlo #
El tráfico limita cuántas pruebas puedes hacer al año, así que cada una debería merecer la pena. Crear variantes no debería ser lo que te frene. En Screenshot Studio, un cambio de diseño se aplica a todos los idiomas y tamaños de dispositivo, y la variante se sube directamente a tu prueba de optimización de la página de producto. Lee también los errores de optimización de la página de producto que malgastan una prueba.