App Store Connect에서는 제품 페이지 최적화 테스트를 한 번에 하나만, 최대 90일 동안 진행할 수 있습니다. 트래픽이 많지 않다면 1년에 의미 있는 테스트를 몇 번밖에 못 할 수도 있습니다. 테스트를 한 번 낭비할 때마다 몇 주를 잃습니다.
테스트를 가장 자주 낭비하게 만드는 실수와 각각을 피하는 방법을 정리했습니다.
1. 모든 것을 한 번에 바꾸기 #
변형에 새 캡션, 새 배경, 새 순서, 새 첫 번째 스크린샷을 넣었고, 그 변형이 이겼습니다. 무엇을 배웠을까요? 다음 디자인에 쓸 수 있는 건 아무것도 없습니다. 어떤 변경이 효과를 냈는지 모르니까요.
대신: 변형마다 한 가지만 바꾸세요. 변형이 3개라면 같은 아이디어의 세 가지 버전에 쓰세요. 첫 번째 스크린샷 세 가지, 또는 캡션 스타일 세 가지처럼요.
2. 측정하기엔 너무 작은 변경 테스트하기 #
캡션의 한 단어를 바꾸면 전환율이 2% 정도 움직일 수 있습니다. 전환율 3%에서 2% 개선을 확인하려면 변형당 약 100만 회의 노출이 필요한데, 대부분의 앱은 90일 동안 그만큼을 얻지 못합니다. 테스트는 계속되고, 신뢰도는 90%에 닿지 못하고, 알게 되는 건 없습니다.
대신: 시작하기 전에 A/B 테스트 계산기로 계산을 확인하고, 트래픽이 많지 않다면 과감한 변경을 테스트하세요. 숫자에 대한 설명은 테스트가 신뢰도에 도달하지 못하는 이유에 있습니다.
3. 좋아 보이는 순간 멈추기 #
4일째에 +25%, 신뢰도도 막 90%를 넘었습니다. 그래서 적용합니다. 하지만 초반 숫자는 크게 흔들리고, 매일 확인하다가 처음으로 좋아 보이는 순간에 멈추면 전혀 나을 게 없는 변형으로 '이기는' 경우가 많습니다.
대신: 시작하기 전에 최소 진행 기간(적어도 1~2주를 꽉 채워)을 정하고, 숫자가 어떻든 그 전에는 멈추지 마세요.
4. 연휴나 출시 기간에 진행하기 #
블랙 프라이데이, App Store 피처드, 자체 광고 캠페인 기간에 걸친 테스트는 평소와 다른 사용자층을 측정합니다. 그때 이긴 변형이 평범한 주에도 이긴다는 보장은 없습니다.
대신: 특이한 주는 피하세요. 피할 수 없다면 최소한 테스트 기간에 무슨 일이 있었는지 적어 두고 결과를 판단할 때 참고하세요.
5. 트래픽에 비해 변형이 너무 많음 #
변형이 3개면 트래픽이 네 갈래로 나뉘고, 각 변형은 필요한 노출을 전부 채워야 합니다. 작은 앱에서는 40일짜리 테스트가 120일짜리가 되고, Apple은 그렇게 오래 진행하도록 허용하지 않습니다.
대신: 트래픽이 제한적이라면 원본 대 변형 1개로 진행하세요. 변형 3개는 그만한 트래픽이 있을 때만 쓰세요.
6. 잘못된 현지화에서 테스트하기 #
테스트는 포함한 현지화에서 들어온 트래픽만 집계합니다. 작은 시장 하나만 포함하면 몇 달을 기다려야 합니다. 아주 다른 시장들을 합치면 한 시장의 승리가 다른 시장의 패배로 상쇄될 수 있습니다.
대신: 가장 큰 시장에서 시작하고, 비슷하게 반응할 것으로 예상되는 시장만 합치세요. 현지화된 스크린샷 A/B 테스트도 참고하세요.
7. App Review 잊기 #
모든 처리는 테스트를 시작하기 전에 심사를 받습니다. 근거 없는 주장이나 앱에 없는 UI처럼 App Store 스크린샷 가이드라인을 어기는 스크린샷이 있으면 테스트가 거절됩니다. 또한 대체 앱 아이콘은 게시된 앱 바이너리에 이미 들어 있어야 하므로, 아이콘 테스트에는 먼저 앱 업데이트가 필요합니다.
대신: 변형도 제품 페이지와 같은 기준으로 만들고, 아이콘 테스트는 출시 일정에 맞춰 계획하세요.
8. 업로드할 때의 실수 #
직접 업로드하려면 모든 처리의 모든 현지화, 모든 기기 크기에 스크린샷 세트를 끌어다 놓아야 합니다. 영어 스크린샷을 프랑스어 처리에 넣거나 순서를 틀리기 쉽고, 결과가 이상해 보이거나 App Review를 거친 뒤에야 알아차리게 됩니다.
대신: 제출하기 전에 각 처리의 현지화를 확인하거나, 도구에 맡기세요. Screenshot Studio는 변형을 테스트에 바로 업로드합니다. 테스트와 변형을 고르기만 하면 모든 언어와 기기 크기가 제자리에 들어갑니다.
9. 아무것도 기록하지 않기 #
6개월 뒤: 이긴 건 큰 캡션이었나, 아니면 어두운 배경이었나? 기록이 없으면 같은 아이디어를 두 번 테스트하게 됩니다.
대신: 테스트 전에는 변경 내용, 이길 거라고 생각하는 이유, 최소 진행 기간을 적어 두세요. 테스트 후에는 '차이 없음'을 포함해 결과를 적으세요. A/B 테스트 아이디어 25가지도 같은 '변경 / 가설 / 승리 기준' 형식을 씁니다.
모든 테스트를 의미 있게 #
좋은 테스트란 한 가지를 바꾸고, 측정할 수 있을 만큼 크고, 충분히 오래, 올바른 시장에서 진행하는 테스트입니다. 변형을 만들고 업로드하는 데 드는 시간이 적을수록 1년 중 더 많은 시간을 실제 테스트에 쓸 수 있습니다. Screenshot Studio는 바로 그걸 위해 만들어졌습니다.