App Store Connect позволяет проводить только один тест оптимизации страницы продукта за раз, продолжительностью до 90 дней. При скромном трафике это может означать всего несколько полноценных тестов в год. Каждый потраченный впустую тест стоит вам недель.
Вот ошибки, из-за которых тесты чаще всего пропадают, и как избежать каждой из них.
1. Менять всё сразу #
У варианта новые подписи, новый фон, новый порядок и новый первый скриншот. Он побеждает. Чему вы научились? Ничему, что можно применить в следующем дизайне, ведь вы не знаете, какое изменение сработало.
Вместо этого: меняйте одно в каждом варианте. Если у вас три варианта, используйте их для трёх версий одной идеи: трёх разных первых скриншотов или трёх стилей подписей.
2. Тестировать слишком маленькое изменение #
Замена одного слова в подписи может сдвинуть конверсию на 2%. При конверсии 3% для обнаружения прироста на 2% нужно около миллиона показов на вариант, а большинство приложений за 90 дней столько не набирают. Тест идёт, достоверность так и не доходит до 90%, и вы ничего не узнаёте.
Вместо этого: проверьте расчёты перед стартом в калькуляторе A/B-тестов и при скромном трафике тестируйте смелые изменения. Цифры разобраны в статье почему тесты не достигают нужной достоверности.
3. Останавливаться, как только всё выглядит хорошо #
День четвёртый: +25%, и достоверность только что перевалила за 90%. Вы применяете вариант. Но ранние цифры сильно скачут, и если проверять каждый день и останавливаться в первый удачный момент, вы часто будете «побеждать» с вариантом, который ничуть не лучше.
Вместо этого: определите минимальную длительность до старта (хотя бы одна-две полные недели) и не останавливайте тест раньше, что бы ни показывали цифры.
4. Тестировать во время праздника или запуска #
Тест, который захватывает «чёрную пятницу», размещение в подборке App Store или вашу собственную рекламную кампанию, измеряет не ту аудиторию, что обычно. Победитель может не выиграть в обычную неделю.
Вместо этого: избегайте необычных недель или хотя бы записывайте, что происходило во время теста, чтобы правильно оценить результат.
5. Слишком много вариантов для вашего трафика #
Три варианта означают, что трафик делится на четыре части, а каждому варианту нужно полное количество показов. У небольшого приложения это превращает 40-дневный тест в 120-дневный, а столько Apple провести не даст.
Вместо этого: при ограниченном трафике сравнивайте с оригиналом один вариант. Три варианта используйте, только когда трафика на них хватает.
6. Тестировать не в тех локализациях #
Тест учитывает трафик только включённых локализаций. Включите один небольшой рынок — и будете ждать месяцами. Объедините очень разные рынки — и победу на одном может перечеркнуть проигрыш на другом.
Вместо этого: начните с самого крупного рынка и объединяйте только те рынки, которые, по вашим ожиданиям, отреагируют одинаково. См. A/B-тесты локализованных скриншотов.
7. Забыть про App Review #
Каждый вариант проходит проверку до запуска теста. Скриншоты, нарушающие правила для скриншотов App Store, например утверждения, которые нельзя подтвердить, или интерфейс, которого нет в приложении, приводят к отклонению теста. А альтернативная иконка уже должна быть в бинарном файле опубликованного приложения, так что для теста иконки сначала нужно обновление.
Вместо этого: предъявляйте к вариантам те же требования, что и к странице продукта, и планируйте тесты иконок под релизы.
8. Ошибки при загрузке #
Загрузка вручную означает перетаскивание набора скриншотов в каждую локализацию и каждый размер устройства каждого варианта. Легко положить английские скриншоты во французский вариант или перепутать порядок, а заметите вы это, только когда результат покажется странным, или после App Review.
Вместо этого: проверяйте локализации каждого варианта перед отправкой или доверьте это инструменту. Screenshot Studio загружает вариант прямо в тест: вы выбираете тест и вариант, и каждый язык и размер устройства попадает на своё место.
9. Ничего не записывать #
Полгода спустя: победили крупные подписи или тёмный фон? Без записей вы протестируете одну и ту же идею дважды.
Вместо этого: перед каждым тестом записывайте изменение, почему, по-вашему, оно победит, и минимальную длительность. После — записывайте результат, включая «разницы нет». Наши 25 идей для A/B-тестов построены в том же формате «изменение / гипотеза / победа».
Пусть каждый тест приносит пользу #
Хороший тест — это одно изменение, достаточно крупное, чтобы его измерить, проведённое достаточно долго и на правильном рынке. Чем меньше времени уходит на подготовку и загрузку вариантов, тем большая часть года достаётся настоящим тестам. Именно для этого и создан Screenshot Studio.