제품 페이지 최적화 테스트를 설정한 지 몇 주가 지났는데 신뢰도가 좀처럼 90%에 도달하지 않습니다. 개선 수치가 +12%에서 −3%로 뒤집혔다가 다시 돌아오기도 합니다.
테스트가 고장 난 게 아닙니다. 원인은 거의 언제나 둘 중 하나입니다. 노출이 부족하거나, 변경이 너무 작아서 측정할 수 없거나. 이 가이드에서는 테스트에 실제로 필요한 노출 수와, Apple의 90일 제한 안에 끝나는 테스트를 설계하는 방법을 알아봅니다.
App Store Connect에서 '신뢰도'의 의미 #
App Store Connect는 처리마다 노출 수, 전환율, 원본 대비 개선, 신뢰도를 보여 줍니다. Apple은 처리가 90% 신뢰도에 도달하면 성과가 더 좋거나 나쁘다고 표시합니다.
쉽게 말해 90% 신뢰도는 지금 보이는 차이가 우연일 가능성이 낮다는 뜻입니다. 그보다 낮으면 변형이 실제로 더 나을 수도 있고, 그냥 노이즈를 보고 있는 것일 수도 있습니다. Apple은 적어도 하나의 처리가 90%에 도달할 때까지 기다린 뒤 적용하라고 권장합니다.
90%에 도달해도 테스트가 저절로 멈추지는 않습니다. 직접 중지하거나, 처리를 적용하거나, 90일이 될 때까지 계속됩니다.
테스트에 필요한 노출 수 #
테스트에 필요한 노출 수는 주로 얼마나 큰 개선을 확인하려는지에 달려 있습니다. 아래 표는 90% 신뢰도, 80% 검정력의 표준적인 두 비율 검정을 기준으로 합니다. Apple은 정확한 계산 방식을 공개하지 않으므로, 약속이 아니라 계획용 추정치로 보세요.
변형당 필요한 노출 수(원본에도 같은 양이 필요합니다):
| 현재 전환율 | +5% 개선 | +10% 개선 | +20% 개선 | +30% 개선 |
|---|---|---|---|---|
| 2% | 248,000 | 64,000 | 17,000 | 7,700 |
| 3% | 164,000 | 42,000 | 11,000 | 5,100 |
| 5% | 96,000 | 25,000 | 6,400 | 3,000 |
두 가지가 눈에 띕니다.
- 확인하려는 개선 폭을 절반으로 줄이면 필요한 노출은 약 4배가 됩니다. +5%를 확인하려면 +20%보다 약 15배 많은 노출이 필요합니다.
- 전환율이 낮을수록 더 많은 트래픽이 필요합니다. 드물게 일어나는 일일수록 측정하기 어렵습니다.
일수로 바꾸면 #
같은 계산을 일수로 바꾼 표입니다. 전환율 3%, 변형 1개, 트래픽의 50%를 테스트에 보낸다고 가정했습니다.
| 일일 노출 수 | +5% 개선 | +10% 개선 | +20% 개선 | +30% 개선 |
|---|---|---|---|---|
| 500 | 656일 ❌ | 168일 ❌ | 44일 | 21일 |
| 2,000 | 164일 ❌ | 42일 | 11일 | 6일 |
| 10,000 | 33일 | 9일 | 3일 | 2일 |
하루 노출이 500회인 앱은 아무리 오래 기다려도 90일 안에 10% 개선을 확인할 수 없습니다. 테스트가 신뢰도에 도달하지 못하는 가장 흔한 이유가 이것입니다. 처음부터 도달할 수 없는 테스트였던 겁니다.
무료 App Store A/B 테스트 계산기에 직접 숫자를 넣어 보세요. 내 트래픽으로 90일 안에 확인할 수 있는 가장 작은 개선 폭도 보여 줍니다.
테스트를 끝내는 다섯 가지 방법 #
1. 더 큰 변경을 테스트하기 #
단연 가장 효과적인 방법입니다. 캡션의 단어 하나를 바꾸는 대신 첫 번째 스크린샷을 통째로, 또는 캡션 스타일 전체를 바꾸세요. 전환율을 20% 이상 움직일 수 있는 과감한 변경은 적당한 트래픽으로도 측정할 수 있지만, 3%짜리 미세 조정은 그렇지 않습니다. 스크린샷 A/B 테스트 아이디어 25가지에 과감한 아이디어가 많습니다.
2. 변형 수 줄이기 #
변형마다 필요한 노출을 전부 채워야 합니다. 하루 2,000회 노출, 10% 개선, 트래픽 50%를 테스트에 보내는 경우 변형 1개는 약 42일이 걸립니다. 변형 3개는 약 126일로 제한을 넘깁니다. 트래픽이 빠듯하다면 변형을 하나씩 테스트하세요.
3. 테스트에 트래픽 더 보내기 #
변형이 1개라면 50/50 분할이 가장 빠릅니다. 변형이 더 많다면 테스트에 더 많이 보내세요. 가장 빠른 분할은 모든 버전에 같은 수의 방문자가 가도록 하는 것으로, 변형 2개면 테스트에 67%, 3개면 75%입니다. 위 예에서 변형 3개를 50%에서 75%로 올리면 테스트 기간이 126일에서 84일로 줄어듭니다.
대신 변형이 더 나쁘다면, 테스트가 진행되는 동안 더 많은 사람이 그 변형을 보게 됩니다.
4. 트래픽이 있는 곳에서 테스트하기 #
테스트에는 선택한 현지화가 포함되고, 집계되는 것은 그 시장들의 노출입니다. 작은 시장 하나에서만 테스트하면 그 시장의 트래픽을 기다려야 합니다. 트래픽이 가장 많은 시장에서 시작하거나, 같은 반응을 보일 것으로 예상되는 여러 시장을 함께 포함하세요. 현지화된 스크린샷 A/B 테스트도 참고하세요.
5. 주 단위로 진행하고, 그대로 두기 #
평일과 주말 방문자는 다르게 행동하므로, 숫자가 일찍 결정된 것처럼 보여도 최소 1~2주를 꽉 채워 진행하세요. 그리고 90%를 넘긴 첫날 테스트를 멈추지 마세요. 매일 확인하다가 처음으로 좋아 보이는 숫자에서 멈추면 가짜 승리가 나올 가능성이 훨씬 커집니다.
테스트를 포기해야 할 때 #
예상한 만큼 노출이 쌓였는데도 신뢰도가 낮다면, 그게 결과입니다. 그 변형은 의미 있을 만큼 큰 차이를 만들지 못한다는 뜻이죠. 테스트를 멈추고, 원본을 유지하고, 더 과감한 아이디어를 시도하세요. 실패한 테스트가 아닙니다. 그 요소가 사용자에게 그다지 중요하지 않다는 걸 알게 된 것입니다.
반복할 수 있을 만큼 테스트를 가볍게 #
트래픽 때문에 1년에 진행할 수 있는 테스트 수가 제한되니, 테스트 하나하나가 가치 있어야 합니다. 변형 만드는 일이 발목을 잡아서는 안 됩니다. Screenshot Studio에서는 디자인을 한 번 바꾸면 모든 언어와 기기 크기에 적용되고, 변형은 제품 페이지 최적화 테스트에 바로 업로드됩니다. 테스트를 낭비하는 제품 페이지 최적화 실수도 함께 읽어 보세요.