Вы запустили тест оптимизации страницы продукта, он идёт уже несколько недель, а достоверность всё никак не дойдёт до 90%. Иногда улучшение даже прыгает с +12% до −3% и обратно.
Тест не сломан. Почти всегда причина в одном из двух: не хватает показов или изменение слишком мало, чтобы его измерить. В этом руководстве разберём, сколько показов на самом деле нужно тесту и как спланировать его так, чтобы он уложился в 90-дневный лимит Apple.
Что означает «достоверность» в App Store Connect #
Для каждого варианта App Store Connect показывает показы, коэффициент конверсии, улучшение относительно оригинала и уровень достоверности. Apple помечает вариант как лучший или худший, когда он достигает достоверности 90%.
Простыми словами: достоверность 90% означает, что видимая разница вряд ли объясняется случайностью. Ниже этого порога вариант может оказаться лучше, а может быть, вы смотрите на шум. Apple рекомендует дождаться, пока хотя бы один вариант достигнет 90%, и только потом его применять.
Достигнув этого уровня, тест сам не останавливается. Он идёт, пока вы его не остановите, не примените вариант или пока не пройдёт 90 дней.
Сколько показов нужно тесту #
Количество показов, которое нужно тесту, в основном зависит от того, насколько большой прирост вы хотите обнаружить. В таблице ниже используется стандартный тест для двух долей с достоверностью 90% и мощностью 80%. Apple не публикует свой точный метод, поэтому считайте эти цифры оценками для планирования, а не обещаниями.
Нужно показов на вариант (оригиналу нужно столько же):
| Текущая конверсия | Прирост +5% | Прирост +10% | Прирост +20% | Прирост +30% |
|---|---|---|---|---|
| 2% | 248 000 | 64 000 | 17 000 | 7 700 |
| 3% | 164 000 | 42 000 | 11 000 | 5 100 |
| 5% | 96 000 | 25 000 | 6 400 | 3 000 |
Сразу бросаются в глаза две вещи:
- Если прирост вдвое меньше, показов нужно примерно вчетверо больше. Чтобы обнаружить +5%, нужно примерно в 15 раз больше показов, чем для +20%.
- Чем ниже конверсия, тем больше нужно трафика. Редкие события измерять труднее.
Что это значит в днях #
Вот те же расчёты в днях — для конверсии 3%, одного варианта и 50% трафика, направленного в тест:
| Показов в день | Прирост +5% | Прирост +10% | Прирост +20% | Прирост +30% |
|---|---|---|---|---|
| 500 | 656 дней ❌ | 168 дней ❌ | 44 дня | 21 день |
| 2 000 | 164 дня ❌ | 42 дня | 11 дней | 6 дней |
| 10 000 | 33 дня | 9 дней | 3 дня | 2 дня |
Приложение с 500 показами в день не сможет обнаружить прирост на 10% за 90 дней, сколько бы оно ни ждало. Это самая частая причина, по которой тест так и не достигает нужной достоверности: у него изначально не было шансов.
Подставьте свои цифры в бесплатный калькулятор A/B-тестов для App Store. Он также покажет наименьший прирост, который ваш трафик способен обнаружить за 90 дней.
Пять способов довести тест до конца #
1. Тестируйте более крупное изменение #
Это самый действенный рычаг. Вместо того чтобы менять одно слово в подписи, полностью замените первый скриншот или весь стиль подписей. Смелое изменение, которое может сдвинуть конверсию на 20% и больше, измеримо и при скромном трафике, а правка на 3% — нет. В нашем списке из 25 идей для A/B-тестов скриншотов много смелых вариантов.
2. Используйте меньше вариантов #
Каждому варианту нужно полное количество показов. При 2 000 показов в день, приросте на 10% и 50% трафика в тесте одному варианту нужно около 42 дней. Трём вариантам — около 126 дней, что выходит за лимит. Если трафика мало, тестируйте по одному варианту за раз.
3. Направьте в тест больше трафика #
С одним вариантом быстрее всего разделение 50/50. С несколькими вариантами направляйте в тест больше: самое быстрое разделение даёт каждой версии одинаковое число посетителей, то есть 67% в тест при двух вариантах и 75% при трёх. В примере выше переход с 50% на 75% для трёх вариантов сокращает тест со 126 дней до 84.
Обратная сторона: если вариант хуже, его увидит больше людей, пока идёт тест.
4. Тестируйте там, где ваш трафик #
В тест входят выбранные вами локализации, и учитываются только показы с этих рынков. Тест на одном небольшом рынке означает ожидание трафика этого рынка. Начните с рынка, где у вас больше всего трафика, или включите несколько рынков, которые, по вашим ожиданиям, отреагируют одинаково. См. A/B-тесты локализованных скриншотов.
5. Проводите тест полными неделями и не трогайте его #
Посетители в будни и в выходные ведут себя по-разному, поэтому проводите тесты хотя бы одну-две полные недели, даже если цифры кажутся понятными раньше. И не останавливайте тест в первый же день, когда он перевалит за 90%. Если проверять результаты каждый день и останавливаться на первом удачном значении, ложные победы становятся гораздо вероятнее.
Когда отказаться от теста #
Если тест уже набрал столько показов, сколько требовала ваша оценка, а достоверность по-прежнему низкая, это тоже результат: вариант не даёт разницы, достаточной, чтобы она имела значение. Остановите тест, оставьте оригинал и попробуйте идею посмелее. Это не проваленный тест. Теперь вы знаете, что для ваших пользователей это не так уж важно.
Сделайте тесты настолько дешёвыми, чтобы их можно было повторять #
Трафик ограничивает число тестов, которые вы можете провести за год, так что каждый должен того стоить. Подготовка вариантов не должна вас тормозить. В Screenshot Studio одно изменение дизайна применяется ко всем языкам и размерам устройств, а вариант загружается прямо в ваш тест оптимизации страницы продукта. Прочитайте также об ошибках оптимизации страницы продукта, из-за которых тест пропадает впустую.