分割テスト中にマーケティング担当者が犯す 10 の大きな間違い

ビジネスを効果的に運営するために重要なのは、多くの起業家が見逃しがちなマーケティング分析と調査です。 何が機能していて何が機能していないかを考慮せずに単に販売する傾向が、サイトの成長を決定します。 集中的な市場調査のより深い要件をブロックし、その結果、長期的には顧客を失うことになります。 クライアント調査を実施する最良の方法は、分割テストです。

なぜスプリットテスト？

分割テストまたは A/B テストは、定義上、Web サイトのトラフィックを改善するという最終的な目的で、制御されたランダムな実験を実施する方法です。 簡単にするために、同じページの 2 つのバージョンを比較して、どちらがより効果的かを判断します。 理想的には、有効性を正確に特定するために、2 つのバージョン間に 1 つまたは 2 つの違いがあるだけです。

コンテンツ、クリック、フォーム入力、購入などの一般的なアクションを分析して、事前に定義されたマーケティング目標により良い結果をもたらすバリアントを確認します。 使用される一般的なマーケティング手法は、サインアップ フォーム、登録ページ、CTA ボタン、または別のページへのリダイレクトです。 CTA の 1 つの単語を更新するという小さな変更でも、コンバージョンがなんと 77% も増加したことが証明されています。 これは、マーケティング キャンペーンの有効性を向上させるために分割テストを行うことの重要性を証明しています。

魅力的に聞こえるかもしれませんが、マーケティング担当者は、フォールス ネガティブ アナリティクスを取得したり、適切なデータを生成することさえできなかったことについて不平を言っているように見えることがあります。 分割テストに戸惑っている場合は、間違った方法でテストを行っている可能性があります。 以下は、テスターが犯す可能性のある最も一般的な 10 の間違いと、可能な修正のリストです。

知っておくべき間違いと修正

テスターが分割分析を理解しようとすると、多数のエラーが発生する可能性があります。 最も一般的なものを以下に書き留めます。

1. 任意のテスト

ほとんどのテスターが直面する最大の問題は、理由もなく分割テストを実施することです。 たとえば、「コールトゥアクション」ボタンのサイズをテストすることに不安があるかもしれません。この場合、特定の焦点を当ててバリアントを設計できます。 それだけのために分割テストを行っている場合は、運命が迫っているのでお控えください。

解決策:ヒート マップ ソフトウェアを使用して、あまり注目されていない、またはあまりトラフィックを集めていない可能性のあるエリアを発見します。 分割テストを実施し、最初に仮説を立てます。 ここでトライアルを実施し、適切な時期に実施して、新しいヒート マップ データ セットを比較し、分析します。 満足のいく結果が得られるまで繰り返します。

2. テストの早期中止

これは、ほとんどのテスターが必ず犯す初歩的な大きな間違いです。 サイトのトラフィックが多いため、分割テストから 3 日以内に 98% の信頼度とバリエーションごとに約 250 のコンバージョンを生成し、テストを成功させたとします。 ここでは、季節性パラメーターを考慮していないため、テストで偽陽性の結果が得られます。テストを実行する曜日でさえ、テスト曲線に大きな変動が生じる可能性があります。

修正:統計分析のもう 1 つの重要なパラメーターは、取得したサンプル サイズです。 適切な結果を得るには、サンプルサイズを十分に大きくしてください。 100 または 1000 のコンバージョン。 採取したサンプルサイズが小さすぎると、誤った意味につながる可能性があります。

3. 多要素試験

ウェブサイトのヒート マッピング分析は、焦点を当てる必要がある領域が複数あることを示唆している可能性がありますが、同時に複数のテストを実施しても、どこにも行き着きません。

多変量テストではなく分割テストを選択することをお勧めします。 これは、1 つのパラメーターのみが異なる 2 つのページで分割テストを行う場合、どちらのページが優れているかを判断しやすいためです。

修正:ただし、多変量テストの場合、2 つまたは 3 つのパラメーターが異なる 4 つの異なる Web ページをテストしているとします。 その場合、データを収集するときに、実際の決定要因を修正することはできません。 このような場合、すべてのページのデータを比較し、さまざまなパラメーター間の相関関係を分析する必要があります。

4. トラフィック コンバージョンのみに焦点を当てる

特定のパラメーターまたはいくつかのパラメーターをテストするときは、短期的なことだけを考えるのではなく、深く根ざしていることを確認してください。 これは、特定の変更がサイトでより多くのトラフィックを集めていることがわかった場合、それについて完全に満足しないでください. 高トラフィックに質の低い顧客が含まれている場合、最終的にビジネスにマイナスの結果をもたらす可能性があります.

解決策:したがって、分割テストを選択するときはいつでも、コンバージョン メトリックを確認し、そのトラフィックを実際のリードと関連付けて、見込み顧客を生成する数を確認します。

5.ランダムな仮説を選ぶか、盲目的にスプリットテストの実践に従う

統計的検定は、適切な仮説がなければ意味がありません。 したがって、テストを実施するのに時間を無駄にする前に、適切な仮説があることを確認してください。 仮説の信頼性が不明な場合は、市場調査を行い、選択した変数の結果を分析し、競合他社の戦略を確認し、ターゲットとする顧客を把握してください。

修正:また、競合他社の戦略を確認する際は、やみくもに追従しないように注意してください。 他の誰かにうまくいったことは、あなたにはうまくいきません。 競合他社の戦略を確認すると同時に、自社の USP を把握し、それに応じて戦略を立ててください。

6. 交絡変数の排除

交絡変数は、重要な仮説パラメーターの一部ではなく、テスト結果を台無しにする可能性が高い要素です。 これらの一部には、新製品の紹介、マーケティング キャンペーンの開始、および Web サイトの再設計が含まれます。

これは通常、テストの途中でいくつかのテスト パラメーターを変更して、より重要な変動を生成した場合に発生します。 これにより、潜在的なターゲット プール外の場所からトラフィックが生成される可能性があります。

修正:スプリット テストを実行するときは、そのような交絡変数を排除し、残りの要因がテスト全体で一定であることを確認してください。

7. 増分変更のみをテストする

大規模なウェブサイトの運用方法と、残りの小規模な起業家がそれに対処する必要がある方法との間には、大きな違いがあります。 大規模な Web サイトの場合、少しずつ変更を加えることで、大きな ROI を生み出すことができます。 しかし、新興企業や中小企業の場合、この活動では期待した結果が得られない場合があります。 たとえば、ウェブサイトまたは CTA ボタンの色とそのさまざまな色合いをテストすることは、サイト全体の改良にほとんど追加されないため、あまり現実的ではありません。

修正:分割テストはわずかな改善を提供しますが、中小企業の場合、大幅な売上高は得られません。 そのため、漸進的な変更だけに集中するのではなく、大幅なパフォーマンスの向上に集中してください。 必要なのは、全体的なレベルで根本的な変化を起こすことです。 これは、限定的な A/B テスト手法よりも集中的です。 これには、かなりの労力を必要とする主要なページの再設計が必要になる場合があります。 複数の要素が再設計されているため、再設計されたページが公開された後、どの特定の要素がトラフィックの急増をもたらしたかを特定するのが難しい場合があることに注意することも重要です.

8.トラフィックがなくてもスプリットテストを行う

ビジネスを数か月しか運営していない場合は、分割テストの実行を開始する前に、トラフィックを増やすことをお勧めします。 スタートアップや新規ベンチャーの場合、少数のベータ ユーザーで分割テストを実行しても効果がありません。 さまざまな仮説のテストは、最適なサンプルによって達成される統計的有意性のゲームです。 しかし、十分なサンプルがなければ、この基本的な目的は達成されません。

修正: 3 つの異なる条件を満たした場合にのみ分割テストを行う

1- 適切な代表サンプルがある

テストは、さまざまな販売期間に対応するために 3 ～ 4 週間実行する必要があります。 その前にテストを中止することは、普遍的なテストを表すのではなく、選択的/循環的なテストの結果を示すことになります。

2-十分なサンプルサイズがあります

1,000 件を超えるトランザクション (リード、サインアップ、またはサブスクリプション) を持つ Web サイトは、トラフィックを改善するために 1 か月に 1 回の A/B テストを行うことができます。 コンバージョン率、合計訪問数、トランザクション全体などの要因によって、適切なサンプル サイズがどれくらいになるかが決まります。

3- p値を達成したとき

ポイント 2 と 3 が満たされたら、p 値を確認することが重要です (よくある誤解によると、p 値は B が A よりも大きくなる確率ではありません)。 通常、許容可能な有意水準は 5% です (または 20 回に 1 回、サンプルは帰無仮説が真である場合に極端な結果を示します)。

9. テストは丸 1 週間実行されない

分割テストで適切な結果が得られるようにするには、季節性、週ごと、さらには日ごとのパラメーターが重要です。 したがって、分割テストにかかる時間は慎重に選択する必要があります。 丸 1 週間のテストを考慮に入れないと、結果がゆがめられ、テスト結果の正しい全体像が示される可能性があります。

解決策:たとえば、あなたが e コマース サイトの所有者である場合、週末にはターゲット層があなたの製品に関心を持つ傾向がありますが、月曜日や平日のラッシュアワーにはサイトが適切なトラフィックを生成しない可能性があります。 そのため、必ず最初と同じ日にテストを終了してください。 これにより、1 回の反復で 1 週間をテストできます。 これは、2 ～ 3 週間テストを実行するという以前の推奨事項とも一致します。

10. テスト データが Google アナリティクスに送信されない

コンバージョン指標は一般的に平均データを示し、マーケティングの世界では平均は嘘をつきます。 パーセンテージ データだけを扱っていても、全体像を把握することはできません。 これは、時間、季節性、日中のフェーズ、およびその他の多くの要因が適切な顧客グラフに寄与するためです。

解決策:大量のデータを処理した場合は、それを Google アナリティクスに送信します。 アドバンス セグメント レポートとカスタム レポートを実行します。 結果には、高度なテストを実行するためのパスが表示され、そこからサイトのテストを実行する場所がわかります。 新しい GA 機能を利用することで、マーケターは分析された最大 20 の同時 A/B テスト データを実行できます。 アクティブな 1 つのテストには、個別のカスタム ディメンション（または Google アナリティクス クラシック モードのカスタム変数）を必ず使用してください。 この場合、Optimizely Classic のようなツールが役に立ちます。

要約すると

マーケティングとビジネス分析は、それぞれ独自の方法で非常に複雑です。 したがって、他の人が何をしているかをチェックしたり、最も一般的なテスト戦略をウェビングする代わりに、賢明な方法で費用対効果の高い A/B テストを採用して、マーケティング戦略の ROI を高めてください。