A/Bテストに値しない場合

公開: 2015-12-13

あなたや私のようなマーケティングオタクにとって、A/Bテストのように血が流れるものはありません。彼らはすぐに走り、結果が流れ込むのを見るのはとても満足です。私たちが始めたら、私たちはレースに出かけます、そして私たちがこれまでになかった方法を想像するのは難しいです。私たちがすべてでこれを行うことができれば：私たちの大きな人生の決定の2つのリールを一度に再生して、どの選択が正しいものであったかを確認します。

しかし、慎重に検討しなければ、A/Bテストは実際には貴重な時間の無駄になる可能性があります。 A/Bテストを最大限に活用する方法は次のとおりです。

A / Bテストとは何ですか？それはどのように機能しますか？

A / Bテストでは、エクスペリエンスまたはメッセージをテストして、改善できるかどうかを確認できます。 A / Bテストでは、サイト、アプリ、または機能の2つのバージョン（バージョンAとB）をユーザーに提示します。追跡しているメトリックが何であれ、最高のパフォーマンスを発揮するバージョンが優先されます。

ボタン、フォント、アクションの呼び出し、編集コンテンツのスタイル、さらにはスクロール速度などの次のレベルの詳細まで、最初のユーザーセット（通常はコントロール（A））の前に1つのバージョンを配置することで、ほぼすべてをテストできます。 2番目のユーザーセットの前にあるバリアント（B）。トラフィックは可能な限りランダム化されるため、テストするバリアントはバリアントBで変更されたものだけです。複数の変数や複数のバリアントをテストできます。これは多変量テストと呼ばれ、別の日のトピックです。

A/Bの例

A/Bテストを使用して仮説をテストします

A / Bテストを使用して、主観的なアイデアをテストし、アイデアが正しいかどうかを確認する客観的なデータベースの証拠を使用して問題を解決する方法をテストします。

よくできているので、A/Bテストは基本的なレシピに従います。解決したい問題から始めます。たぶん、あなたは問題があることを示唆するデータやユーザー調査を持っているか、あるいはあなたの製品と聴衆の知識から導き出された情報に基づいた予感を持っているでしょう。

次に、問題の最善の解決策と思われるものを特定する仮説を立てます。次に、テストを実行して、仮説を最終的に証明または反証する経験的証拠を収集します。最後に、学んだことに基づいて行動を起こします。

A/Bテストに着手する前に注意すべき点

ド・トクヴィルの1835年のアメリカ人の性格に関する研究（アメリカの民主政治）で、彼は米国では「世論はごくわずかな瞬間の質問で千分の違いに分けられる」と書いた。

もちろん、ド・トクヴィルは、彼の発言がデジタルおよびモバイルマーケティングの文脈でどれほど関連性があるのか見当がつかなかったでしょう。一部の結果は、発掘にかかる時間を保証するものではありません。 A / Bテストの時期と、他の場所で時間を費やしたほうがよい時期を把握してください。

テストを実行しない4つの理由

1.次の場合はA/Bテストを行わないでください。意味のあるトラフィックがまだない

A / Bテストは非常に普及しているため、A/Bテストなしでモバイルまたは製品開発の世界を想像することは困難です。それでも、足首を濡らす前にテストプールの奥深くに飛び込むのは間違いかもしれません。

統計的有意性は、テストにおける重要な概念です。十分な数のユーザーグループをテストすることで、平均的なユーザーが何を好むかを判断し、特定した選好が実際にサンプリングエラーの結果である可能性を低くします。

ユーザーが実際にコントロールよりもバリアントを好むため、動きが見られましたか？または、たとえば、猫を愛する人にバリアントAを、チーズバーガーを嫌う人にバリアントBを無意識のうちに提供しましたか？つまり、結果は実際には平均的なユーザーについて何も教えてくれませんか？この種のサンプリングエラーから保護するには、統計的に有意なサンプルサイズが必要です。あなたの結果が行動を正当化するのに十分重要であるかどうかをどのように理解しますか？算数！

この無料のA/B有意性計算機（または、必要に応じてこれ）を使用することから始めることができます。各計算機は、A / Bバリアントの両側で訪問者とコンバージョンを比較し、一連のバックエンド計算を実行し、パーセンテージで表される「信頼水準」を提供して、テストが結果を出したかどうかを知らせます。自信を持って行動できる結果。

コンバージョン率に大きな違いをもたらすと予想されるものをテストすることは、通常、トラフィックを減らして実行できますが、ボタンの色などの小さな変更をテストするには、より大きなサンプルサイズが必要になります。心配な場合は、A / Bテストを実行する前に、この計算機を試して、トラフィックが適切な場所にあるかどうかを確認してください。

意味のある結果を通知するのに十分なユーザーがいない場合は、実験するよりも、より多くの顧客を引き付けるために努力を費やしたほうがよい場合があります。ユーザーベースがまだ小さいうちに先に進んでテストを実行することにした場合は、意味のある結果が表示されるまでに、テストを何週間もライブのままにしておく必要があります。

2.次の場合はA/Bテストを行わないでください。安全に時間を過ごすことができない

Brainscapeの創設者兼CEOであり、TechStars and GeneralAssemblyのインストラクターであるAndrewCohen氏は、次のように述べています。誰かが何をテストするかを決定し、テストを設定し、テストの結果を検証して実装することに時間を費やす必要があります。」

これらのタスクは比較的簡単に実行できますが、それでも十分な「メンタル帯域幅が必要です。これは、どの企業（特に初期段階のスタートアップ）でも最も少ないリソースです」。

何をテストするかを前もって決定するために時間を費やしてください。そうすれば、A/Bテスト時間を最大限に活用できます。

3.次の場合はA/Bテストを行わないでください。十分な情報に基づいた仮説がまだない場合

情報を収集します。問題を特定します。仮説を定義します。次に、テストして、正しいかどうかを確認します。 A / Bテストを本物の科学のように扱ってください！優れた科学者は、仮説なしに実験を開始することはありません。

仮説を定義するには、解決したい問題を把握し、コンバージョンの目標を特定します。たとえば、顧客がコンバージョンファネルの特定の時点でドロップオフする傾向があるとします。

問題：顧客は商品をカートに入れますが、購入プロセスを完了しません。

少しの市場調査と十分な情報に基づいた判断に基づいて、「購入を終了する」というボタンを追加すると、コンバージョンを増やすことができると信じています。成功の指標を定義することも重要です。喜んで目にするコンバージョンの最小の増加は何ですか？（そして、なぜその数ですか？あなたのビジネス全体がその増加に勝つことはどういう意味ですか？）これはあなたの統計的有意性の計算にも結びついています。この例では、コンバージョンを20％増やしたいとします。

科学的仮説は通常、if/then形式で記述されます。したがって、あなたの仮説は、「「購入を終了」ボタンを追加すると、 20％多くの人が購入プロセスを実行するようになります」になります。

テストの最後に、いくつかの決定を行う必要があります。あなたのテストが陽性であり、あなたの仮説を確認するならば、おめでとうございます！あなたが勝ちます。これで、仮説は証明された理論になります（もちろん、達成した信頼水準の範囲内で証明されます）。あなたのビジネスが十分に機敏であるならば、あなたはすぐに恒久的な解決策を開始することができます。最初の成功で改善の余地があるかどうかを確認するために、より小さなバリアントをテストし続けることをお勧めします。

あなたのテストが否定的であり、あなたの仮説が目標を達成しなかった場合、あなたも勝ちます！これは、あなたのコントロールが勝利の公式であり、自信を持ってそれを使い続けることができることを意味します。ただし、必要な結果が得られない場合は、さまざまなバリアントをテストすることをお勧めします。問題を解決する別の方法があるかどうかを確認し、新しい仮説を立てます。

テストで結論が出ない場合は、問題を再検討してください。痛みのポイントは、あなたが思っているところにあると思いますか？統計的に有意な結果を通知するのに十分なトラフィックがありますか？あなたの製品を苦しめるものへの答えは必ずしもA/Bテストにあるとは限らないことを覚えておいてください。

4.次の場合はA/Bテストを行わないでください。すぐに行動を起こすリスクが低い

Apptimizeのマーケティング責任者であるLynnWangは、次のように述べています。「アイデアがほぼ確実にアプリを改善し、アイデアの実装に関連するリスクが低いことがわかっている状況では、A/Bテストをスキップする必要があります。」彼女は次のように付け加えています。「おそらく良いものでリスクが低いものをテストするために時間とリソースを費やす理由はありません。実装にジャンプすることをお勧めします。」

これは、時間が不足しているかどうかを覚えておくと特に便利です。与えられた結果が真実である可能性があり、同時にそれが重要でない可能性があることに注意してください。

優れたツールは、そのスマートアプリケーションと同じくらい便利です

A/Bテストは素晴らしいリソースです。適切に適用されたテストからの明確な結果に基づいて実行されたスマートでシンプルなアクションは、デジタルランドスケープ全体で成功をもたらしました。成功する企業は、いつ我慢するべきかを知っており、意味のあるテストを実行します。彼らはまた、いつ直感や他の情報源に頼るべきかを知っており、実際には何の価値ももたらさない長期または時期尚早のテスト期間の想定されるセーフティネットなしで前進します。