In App Store Connect läuft immer nur ein Test der Produktseitenoptimierung zur selben Zeit, für bis zu 90 Tage. Bei überschaubarem Traffic sind das vielleicht eine Handvoll echter Tests pro Jahr. Jeder verschwendete Test kostet Sie Wochen.
Das sind die Fehler, mit denen Tests am häufigsten verschwendet werden, und wie Sie jeden davon vermeiden.
1. Alles auf einmal ändern #
Die Variante hat neue Bildunterschriften, einen neuen Hintergrund, eine neue Reihenfolge und einen neuen ersten Screenshot. Sie gewinnt. Was haben Sie gelernt? Nichts, was Sie für Ihr nächstes Design nutzen können, denn Sie wissen nicht, welche Änderung es war.
Stattdessen: Ändern Sie pro Variante eine Sache. Haben Sie drei Varianten, nutzen Sie sie für drei Fassungen derselben Idee: drei verschiedene erste Screenshots oder drei Stile für Bildunterschriften.
2. Eine Änderung testen, die zu klein ist, um sie zu messen #
Eine Bildunterschrift, in der ein Wort geändert wurde, bewegt die Conversion vielleicht um 2 %. Bei einer Conversion-Rate von 3 % braucht der Nachweis einer Steigerung um 2 % rund eine Million Impressionen pro Variante, und die bekommen die meisten Apps in 90 Tagen nicht. Der Test läuft, die Konfidenz erreicht nie 90 %, und Sie sind so klug wie zuvor.
Stattdessen: Prüfen Sie die Rechnung vor dem Start mit dem A/B-Test-Rechner und testen Sie mutige Änderungen, wenn Ihr Traffic überschaubar ist. Warum Tests nie die nötige Konfidenz erreichen erklärt die Zahlen.
3. Abbrechen, sobald es gut aussieht #
Tag vier: +25 %, und die Konfidenz hat gerade 90 % überschritten. Sie wenden die Variante an. Doch frühe Zahlen schwanken stark, und wer jeden Tag nachsieht und beim ersten guten Moment aufhört, „gewinnt“ oft mit einer Variante, die überhaupt nicht besser ist.
Stattdessen: Legen Sie vor dem Start die Mindestlaufzeit fest (mindestens ein oder zwei volle Wochen) und brechen Sie vorher nicht ab, egal was die Zahlen sagen.
4. Über einen Feiertag oder einen Launch testen #
Ein Test, der über den Black Friday, ein Feature im App Store oder Ihre eigene Werbekampagne läuft, misst ein anderes Publikum als Ihr übliches. Der Gewinner gewinnt in einer normalen Woche womöglich nicht.
Stattdessen: Meiden Sie ungewöhnliche Wochen oder notieren Sie zumindest, was während des Tests passiert ist, damit Sie das Ergebnis einordnen können.
5. Zu viele Varianten für Ihren Traffic #
Drei Varianten bedeuten, dass sich Ihr Traffic auf vier Versionen verteilt, und jede Variante braucht die volle Zahl an Impressionen. Bei einer kleineren App wird so aus einem 40-Tage-Test einer mit 120 Tagen, und so lange lässt Apple ihn nicht laufen.
Stattdessen: Testen Sie bei begrenztem Traffic eine Variante gegen das Original. Nutzen Sie drei Varianten nur, wenn Sie den Traffic dafür haben.
6. In den falschen Lokalisierungen testen #
Der Test zählt nur Traffic aus den Lokalisierungen, die Sie aufnehmen. Nehmen Sie einen kleinen Markt auf, warten Sie Monate. Legen Sie sehr unterschiedliche Märkte zusammen, kann ein Gewinn im einen durch einen Verlust im anderen aufgehoben werden.
Stattdessen: Beginnen Sie in Ihrem größten Markt und legen Sie nur Märkte zusammen, von denen Sie erwarten, dass sie ähnlich reagieren. Siehe A/B-Tests für lokalisierte Screenshots.
7. App Review vergessen #
Jede Variante wird geprüft, bevor der Test starten kann. Screenshots, die gegen die App-Store-Richtlinien für Screenshots verstoßen, etwa mit Aussagen, die Sie nicht belegen können, oder einer Oberfläche, die es in der App nicht gibt, führen zur Ablehnung des Tests. Und ein alternatives App-Icon muss bereits im Binary Ihrer veröffentlichten App enthalten sein, ein Icon-Test braucht also zuerst ein App-Update.
Stattdessen: Legen Sie an Varianten denselben Maßstab an wie an Ihre Produktseite und planen Sie Icon-Tests rund um ein Release.
8. Fehler beim Hochladen #
Beim manuellen Hochladen ziehen Sie ein Screenshot-Set in jede Lokalisierung und jede Gerätegröße jeder Variante. Da landen schnell englische Screenshots in der französischen Variante oder die Reihenfolge stimmt nicht, und Sie merken es erst, wenn ein Ergebnis seltsam aussieht, oder nach App Review.
Stattdessen: Prüfen Sie die Lokalisierungen jeder Variante vor dem Einreichen, oder überlassen Sie das einem Tool. Screenshot Studio lädt eine Variante direkt in den Test hoch: Sie wählen Test und Variante, und jede Sprache und Gerätegröße landet an der richtigen Stelle.
9. Nichts aufschreiben #
Sechs Monate später: Haben die größeren Bildunterschriften gewonnen, oder war es der dunkle Hintergrund? Ohne Notizen testen Sie dieselbe Idee zweimal.
Stattdessen: Notieren Sie vor jedem Test die Änderung, warum Sie glauben, dass sie gewinnt, und die Mindestlaufzeit. Notieren Sie danach das Ergebnis, auch „kein Unterschied“. Unsere 25 Ideen für A/B-Tests nutzen dasselbe Format aus Änderung, Hypothese und Erfolg.
Machen Sie jeden Test wertvoll #
Ein guter Test ist eine Änderung, groß genug, um sie zu messen, lange genug gelaufen, im richtigen Markt. Je weniger Zeit das Erstellen und Hochladen von Varianten kostet, desto mehr Ihres Jahres fließt in echte Tests. Genau dafür ist Screenshot Studio gebaut.