プロダクトページの最適化のテストを設定して何週間も経つのに、信頼度が一向に90%に届かない。改善の数値が+12%から−3%に反転し、また戻ることさえある。
テストが壊れているわけではありません。原因はほぼ必ず2つのどちらかです。インプレッションが足りないか、変更が小さすぎて測れないか。このガイドでは、テストに本当に必要なインプレッション数と、Appleの90日の上限内に終わるテストの設計方法を紹介します。
App Store Connectの「信頼度」とは #
App Store Connectでは、トリートメントごとにインプレッション数、コンバージョン率、元のページに対する改善、信頼度が表示されます。Appleは、トリートメントが信頼度90% に達した時点で、パフォーマンスが良い、または悪いと表示します。
平たく言えば、信頼度90%とは、見えている差が偶然である可能性は低い、という意味です。それを下回っているうちは、バリアントが本当に良いのかもしれないし、ただのノイズを見ているだけかもしれません。Appleは、少なくとも1つのトリートメントが90%に達するまで待ってから適用するよう推奨しています。
90%に達してもテストは自動では止まりません。自分で停止するか、トリートメントを適用するか、90日に達するまで続きます。
テストに必要なインプレッション数 #
テストに必要なインプレッション数は、主にどれだけの改善を検出したいかで決まります。下の表は、信頼度90%、検出力80%の標準的な2標本の比率の検定に基づいています。Appleは正確な計算方法を公開していないので、約束された数字ではなく、計画用の目安として扱ってください。
バリアントあたりに必要なインプレッション数（元のページにも同じ数が必要です）：
| 現在のコンバージョン率 | +5%の改善 | +10%の改善 | +20%の改善 | +30%の改善 |
|---|---|---|---|---|
| 2% | 248,000 | 64,000 | 17,000 | 7,700 |
| 3% | 164,000 | 42,000 | 11,000 | 5,100 |
| 5% | 96,000 | 25,000 | 6,400 | 3,000 |
ここから2つのことがわかります。
- 検出したい改善を半分にすると、必要なインプレッションはおよそ4倍になります。 +5%の検出には、+20%の約15倍のインプレッションが必要です。
- コンバージョン率が低いほど、多くのトラフィックが必要です。 まれな出来事ほど測るのが難しいからです。
日数に直すと #
同じ計算を日数に直したのが下の表です。コンバージョン率3%、バリアント1つ、トラフィックの50%をテストに回した場合です。
| 1日のインプレッション | +5%の改善 | +10%の改善 | +20%の改善 | +30%の改善 |
|---|---|---|---|---|
| 500 | 656日 ❌ | 168日 ❌ | 44日 | 21日 |
| 2,000 | 164日 ❌ | 42日 | 11日 | 6日 |
| 10,000 | 33日 | 9日 | 3日 | 2日 |
1日500インプレッションのアプリでは、どれだけ待っても90日以内に10%の改善を検出することはできません。テストがいつまでも信頼度に届かない理由で一番多いのがこれです。最初から届く見込みがなかったのです。
無料のApp Store A/Bテスト計算ツールで、自分の数字を試してみてください。自分のトラフィックで90日以内に検出できる最小の改善も表示されます。
テストを終わらせる5つの方法 #
1. もっと大きな変更をテストする #
これが群を抜いて効果的な方法です。キャプションの1語を変えるのではなく、1枚目のスクリーンショットを丸ごと、あるいはキャプションのスタイル全体を変えましょう。コンバージョンを20%以上動かしうる大胆な変更なら、控えめなトラフィックでも測れます。3%程度の微調整では測れません。スクリーンショットのA/Bテストアイデア25選には大胆なアイデアがたくさんあります。
2. バリアントを減らす #
どのバリアントにも、必要なインプレッションを丸ごと集める必要があります。1日2,000インプレッション、10%の改善、トラフィックの50%をテストに回す場合、バリアント1つなら約42日です。バリアント3つだと約126日かかり、上限を超えます。トラフィックが限られているなら、バリアントは1つずつテストしましょう。
3. テストに回すトラフィックを増やす #
バリアントが1つなら、50/50の配分が最速です。バリアントが増えたら、テストに回す割合を増やしましょう。最速になるのはすべてのバージョンに同じ数の訪問者が割り当たる配分で、バリアント2つならテストに67%、3つなら75%です。上の例では、バリアント3つで50%から75%に上げると、テスト期間は126日から84日に縮まります。
その代わり、バリアントのほうが悪かった場合、テスト中はより多くの人がそれを目にすることになります。
4. トラフィックのある場所でテストする #
テストには選んだローカリゼーションが含まれ、カウントされるのはその市場からのインプレッションです。小さな市場1つだけでテストすると、その市場のトラフィックを待つことになります。最もトラフィックの多い市場から始めるか、同じ反応をしそうな複数の市場をまとめて含めましょう。ローカライズしたスクリーンショットのA/Bテストもご覧ください。
5. 週単位で実施し、途中で触らない #
平日と週末では訪問者の行動が違うので、数字が早めに決着したように見えても、少なくとも丸1〜2週間はテストを続けましょう。また、90%を超えた初日に止めてはいけません。毎日確認して最初に良さそうに見えた数字で止めると、偽の勝ちが出る確率がはるかに高くなります。
テストを諦めるべきとき #
見積もりどおりのインプレッションが集まっても信頼度が低いままなら、それ自体が結果です。そのバリアントは、意味があるほどの差を生まないということです。テストを止め、元のページを残し、もっと大胆なアイデアを試しましょう。テストの失敗ではありません。その要素はユーザーにとってあまり重要ではない、とわかったのです。
何度でも回せるほど、テストを手軽に #
トラフィックによって1年に回せるテストの数は限られるので、1回1回に価値を持たせる必要があります。バリアント作りが足かせになってはいけません。Screenshot Studioなら、1回のデザイン変更がすべての言語とデバイスサイズに反映され、バリアントはプロダクトページの最適化テストに直接アップロードできます。テストを無駄にするプロダクトページの最適化のミスもあわせてお読みください。