App Store Connectで同時に実施できるプロダクトページの最適化のテストは1つだけで、期間は最長90日です。トラフィックが控えめなら、意味のあるテストは年に数回しかできないかもしれません。テストを1回無駄にするたびに、何週間も失うことになります。
ここでは、テストを無駄にしがちなミスと、それぞれの避け方を紹介します。
1. すべてを一度に変える #
バリアントでキャプションも背景も並び順も1枚目のスクリーンショットも新しくした。それが勝った。さて、何がわかったでしょうか。次のデザインに活かせることは何もありません。どの変更が効いたのかわからないからです。
代わりに： バリアントごとに変えるのは1点だけにしましょう。バリアントが3つあるなら、同じアイデアの3つのバージョンに使います。1枚目のスクリーンショットを3パターン、あるいはキャプションのスタイルを3パターン、といった具合です。
2. 小さすぎて測れない変更をテストする #
キャプションの1語を変えても、コンバージョンは2%程度しか動かないかもしれません。コンバージョン率3%で2%の改善を検出するには、バリアントあたり約100万インプレッションが必要で、ほとんどのアプリは90日でそこまで届きません。テストは続き、信頼度は90%に届かず、何もわからないまま終わります。
代わりに： 始める前にA/Bテスト計算ツールで計算を確認し、トラフィックが控えめなら大胆な変更をテストしましょう。数字の詳しい解説はテストがいつまでも信頼度に届かない理由にあります。
3. 良く見えた瞬間に止める #
4日目で+25%、信頼度もちょうど90%を超えた。そこで適用する。しかし初期の数値は大きく振れるもので、毎日確認して最初に良く見えた瞬間に止めると、実際には何も良くないバリアントで「勝って」しまうことがよくあります。
代わりに： 始める前に最低実施期間（少なくとも丸1〜2週間）を決め、数字がどうであれそれより前には止めないようにしましょう。
4. 年末商戦やリリース時期にかぶせる #
ブラックフライデー、App Storeでのフィーチャー、自社の広告キャンペーンの期間にかかったテストは、いつもとは違うユーザー層を測っています。勝ったバリアントが、普段の週でも勝つとは限りません。
代わりに： 特殊な週は避けましょう。避けられない場合は、少なくともテスト中に何があったかを記録し、結果を判断する材料にしましょう。
5. トラフィックに対してバリアントが多すぎる #
バリアントが3つあると、トラフィックは4つに分かれ、各バリアントに必要なインプレッションを丸ごと集める必要があります。小規模なアプリでは、40日のテストが120日になってしまい、Appleの上限を超えます。
代わりに： トラフィックが限られているなら、元のページに対してバリアント1つで実施しましょう。バリアント3つは、それだけのトラフィックがあるときだけにします。
6. 間違ったローカリゼーションでテストする #
テストがカウントするのは、含めたローカリゼーションからのトラフィックだけです。小さな市場を1つだけ含めると、何か月も待つことになります。大きく異なる市場をまとめると、ある市場での勝ちが別の市場での負けで打ち消されることがあります。
代わりに： 最大の市場から始め、同じ反応をしそうな市場だけをまとめましょう。ローカライズしたスクリーンショットのA/Bテストもご覧ください。
7. App Reviewを忘れる #
どのトリートメントも、テストを開始する前に審査されます。裏付けのない主張やアプリに存在しないUIなど、App Storeスクリーンショットのガイドラインに反するスクリーンショットがあると、テストはリジェクトされます。また、代替のAppアイコンは公開中のアプリのバイナリにすでに含まれている必要があるため、アイコンのテストには先にアプリのアップデートが必要です。
代わりに： バリアントもプロダクトページと同じ基準で作り、アイコンのテストはリリースに合わせて計画しましょう。
8. アップロード時のミス #
手作業でアップロードする場合、すべてのトリートメントのすべてのローカリゼーション、すべてのデバイスサイズにスクリーンショットセットをドラッグしていくことになります。英語のスクリーンショットをフランス語のトリートメントに入れてしまったり、順番を間違えたりしやすく、結果がおかしいとき、あるいはApp Reviewの後になって初めて気づきます。
代わりに： 提出前に各トリートメントのローカリゼーションを確認するか、ツールに任せましょう。Screenshot Studioはバリアントをテストに直接アップロードします。テストとバリアントを選ぶだけで、すべての言語とデバイスサイズが正しい場所に入ります。
9. 何も記録しない #
半年後、勝ったのは大きなキャプションだったか、それとも暗い背景だったか。記録がなければ、同じアイデアを2回テストすることになります。
代わりに： テストの前に、変更内容、勝つと考える理由、最低実施期間を書き留めましょう。テストの後は、「差なし」も含めて結果を記録します。A/Bテストアイデア25選も、同じ「変更／仮説／勝ちの基準」の形式でまとめています。
1回1回のテストを無駄にしない #
良いテストとは、変更は1点、測れるだけの大きさがあり、十分な期間、正しい市場で実施されるものです。バリアントの作成とアップロードにかかる時間が短いほど、1年のうち多くの時間を本当のテストに使えます。Screenshot Studioは、まさにそのために作られています。