Sie haben einen Test der Produktseitenoptimierung eingerichtet, er läuft seit Wochen, und die Konfidenz will einfach nicht 90 % erreichen. Manchmal springt die Verbesserung sogar von +12 % auf −3 % und wieder zurück.
Der Test ist nicht kaputt. Fast immer liegt es an einem von zwei Dingen: zu wenige Impressionen oder eine Änderung, die zu klein ist, um sie zu messen. Diese Anleitung zeigt, wie viele Impressionen ein Test wirklich braucht und wie Sie einen Test planen, der innerhalb von Apples 90-Tage-Grenze fertig wird.
Was „Konfidenz“ in App Store Connect bedeutet #
Für jede Variante zeigt App Store Connect die Impressionen, die Conversion-Rate, die Verbesserung gegenüber dem Original und ein Konfidenzniveau. Apple kennzeichnet eine Variante als besser oder schlechter, sobald sie 90 % Konfidenz erreicht.
Einfach gesagt: 90 % Konfidenz bedeutet, dass der Unterschied, den Sie sehen, kaum auf Zufall beruht. Darunter ist die Variante vielleicht besser, oder Sie sehen nur Rauschen. Apple empfiehlt, mit dem Anwenden zu warten, bis mindestens eine Variante 90 % erreicht.
Der Test hält nicht von selbst an, wenn es so weit ist. Er läuft, bis Sie ihn beenden, eine Variante anwenden oder 90 Tage erreicht sind.
Wie viele Impressionen ein Test braucht #
Wie viele Impressionen ein Test braucht, hängt vor allem davon ab, wie groß die Steigerung ist, die Sie nachweisen wollen. Die folgende Tabelle beruht auf einem gängigen Zwei-Stichproben-Test für Anteile mit 90 % Konfidenz und 80 % Teststärke. Apple veröffentlicht seine genaue Methode nicht, betrachten Sie die Werte also als Planungsgrößen, nicht als Zusagen.
Benötigte Impressionen pro Variante (das Original braucht genauso viele):
| Aktuelle Conversion-Rate | +5 % Steigerung | +10 % Steigerung | +20 % Steigerung | +30 % Steigerung |
|---|---|---|---|---|
| 2 % | 248.000 | 64.000 | 17.000 | 7.700 |
| 3 % | 164.000 | 42.000 | 11.000 | 5.100 |
| 5 % | 96.000 | 25.000 | 6.400 | 3.000 |
Zwei Dinge fallen sofort auf:
- Halbiert sich die Steigerung, vervierfachen sich ungefähr die Impressionen. Der Nachweis von +5 % braucht etwa 15-mal so viele Impressionen wie der von +20 %.
- Eine niedrigere Conversion-Rate braucht mehr Traffic. Seltene Ereignisse sind schwerer zu messen.
Was das in Tagen bedeutet #
Hier dieselbe Rechnung in Tagen, bei einer Conversion-Rate von 3 %, einer Variante und 50 % des Traffics im Test:
| Tägliche Impressionen | +5 % Steigerung | +10 % Steigerung | +20 % Steigerung | +30 % Steigerung |
|---|---|---|---|---|
| 500 | 656 Tage ❌ | 168 Tage ❌ | 44 Tage | 21 Tage |
| 2.000 | 164 Tage ❌ | 42 Tage | 11 Tage | 6 Tage |
| 10.000 | 33 Tage | 9 Tage | 3 Tage | 2 Tage |
Eine App mit 500 Impressionen pro Tag kann eine Steigerung um 10 % innerhalb von 90 Tagen nicht nachweisen, egal wie lange sie wartet. Das ist der häufigste Grund, warum ein Test nie die nötige Konfidenz erreicht: Er hatte von Anfang an keine Chance.
Probieren Sie Ihre eigenen Zahlen im kostenlosen A/B-Test-Rechner für den App Store aus. Er zeigt auch die kleinste Steigerung, die Ihr Traffic in 90 Tagen nachweisen kann.
Fünf Wege, damit ein Test fertig wird #
1. Eine größere Änderung testen #
Das ist mit Abstand der wirksamste Hebel. Ändern Sie nicht ein Wort in einer Bildunterschrift, sondern den ganzen ersten Screenshot oder den gesamten Stil der Bildunterschriften. Eine mutige Änderung, die die Conversion um 20 % oder mehr bewegen könnte, ist schon mit überschaubarem Traffic messbar; eine Feinjustierung, die 3 % bringt, nicht. Unsere Liste mit 25 Ideen für Screenshot-A/B-Tests enthält viele mutige Vorschläge.
2. Weniger Varianten verwenden #
Jede Variante braucht die volle Zahl an Impressionen. Bei 2.000 Impressionen pro Tag, einer Steigerung um 10 % und 50 % des Traffics im Test braucht eine Variante etwa 42 Tage. Drei Varianten brauchen etwa 126 Tage und liegen damit über der Grenze. Wenn der Traffic knapp ist, testen Sie eine Variante nach der anderen.
3. Mehr Traffic in den Test schicken #
Mit einer Variante ist eine Aufteilung von 50/50 am schnellsten. Mit mehr Varianten schicken Sie mehr in den Test: Am schnellsten ist die Aufteilung, bei der jede Version gleich viele Besucher bekommt, also 67 % für den Test bei zwei Varianten und 75 % bei drei. Im Beispiel oben verkürzt sich der Test mit drei Varianten von 126 auf 84 Tage, wenn Sie von 50 % auf 75 % gehen.
Der Haken: Ist eine Variante schlechter, sehen sie während des Tests mehr Menschen.
4. Dort testen, wo Ihr Traffic ist #
Ein Test umfasst die Lokalisierungen, die Sie auswählen, und nur die Impressionen aus diesen Märkten zählen. Wer in einem kleinen Markt testet, wartet auf dessen Traffic. Beginnen Sie in Ihrem Markt mit dem meisten Traffic oder nehmen Sie mehrere Märkte auf, von denen Sie erwarten, dass sie gleich reagieren. Siehe A/B-Tests für lokalisierte Screenshots.
5. In vollen Wochen testen und den Test in Ruhe lassen #
Besucher unter der Woche und am Wochenende verhalten sich unterschiedlich. Lassen Sie Tests daher mindestens ein oder zwei volle Wochen laufen, auch wenn die Zahlen schon früher entschieden wirken. Und beenden Sie den Test nicht am ersten Tag, an dem er 90 % überschreitet. Wer jeden Tag nachsieht und beim ersten gut aussehenden Wert aufhört, erhöht die Wahrscheinlichkeit falscher Gewinner erheblich.
Wann Sie einen Test aufgeben sollten #
Hatte ein Test die Impressionen, die Ihre Schätzung verlangt hat, und ist die Konfidenz trotzdem niedrig, dann ist genau das das Ergebnis: Die Variante macht keinen Unterschied, der groß genug ist, um zu zählen. Beenden Sie den Test, behalten Sie das Original und probieren Sie eine mutigere Idee. Das ist kein gescheiterter Test. Sie wissen jetzt, dass diese Sache Ihren Nutzern nicht viel bedeutet.
Testen Sie so günstig, dass Sie es wiederholen können #
Der Traffic begrenzt, wie viele Tests Sie pro Jahr fahren können, also sollte sich jeder lohnen. Das Erstellen der Varianten sollte Sie dabei nicht ausbremsen. In Screenshot Studio gilt eine Designänderung für alle Sprachen und Gerätegrößen, und die Variante wird direkt in Ihren Produktseitenoptimierungstest hochgeladen. Lesen Sie außerdem die Fehler bei der Produktseitenoptimierung, die einen Test verschwenden.