A / Bテスト：タイプ1およびタイプ2のエラーとは何ですか？それらを回避する方法

A / Bテストを実行する主な理由の1つは、再現可能な検証可能な結果を​​取得することです。 これを達成する唯一の方法は、科学的方法を使用することです。 目標は、客観的な真実を取得することです–当て推量、推測、およびバリエーションが最適である個人的な感情から解放されます。

ただし、テスターがエラーを起こすことがあり、これらは簡単に見落とされて悪い結果をもたらす可能性があります。 マーケターがコンバージョン率の最適化作業中にA/Bテストまたは多変量テストを実行すると、すべてのテストでいくつかのタイプのエラーが発生する可能性があります。 一般的なタイプのエラーは、タイプ1エラーとタイプ2エラーです。

ツールがA/Bテストを簡単に行えるにもかかわらず、ユーザーとしてのあなたは、科学的方法論と結果の解釈方法の両方を理解して、悪い決定をしないようにする必要があります。

テストを設計するのはあなたの仕事であり、これは実験計画の中でエラーが発生しがちな場所です。 これらのエラーを検出できるA/Bテストツールはありません。 それらが発生したときにそれらを見つけるか、そもそもそれらが発生しないようにするのはあなた次第です。

では、これらのエラーとは何ですか、タイプ1とタイプ2のエラーの違いは何ですか、タイプ1のエラーとタイプ2のエラーを回避する方法は何ですか？

確認してみましょう！

新しいポップアップオーバーレイ（バリエーションB）と元のコントロール（バリエーションA）をテストすると、誤検知が発生する可能性があります。 より感情的な画像をテストするために、背景画像を変更することにしました。

バリエーションAとバリエーションBを10日間実行した後、結果を確認します。 結果は明確に見え、コンバージョンが大幅に改善されたことを示しています。 その結果、A / Bテストが終了し、バリエーションBが勝者として実装されます。

しかし、数か月後、結果は元の結果よりも良くはなく、実際、より悪くなりました。

これは、誤検知とタイプ1のエラーの例です。

タイプ1のエラーは、実験的にテストされた結果であり、正の相関関係を示唆する結果であり、真ではないことが判明した優れたオプションを示しています。

これはどのように可能ですか？

簡単に言えば、それはエラーを引き起こす人的要因です。 多くの場合、これは何をテストする必要があるかについて十分な調査を行っていない結果です。 テストを設計するときに考慮しなければならない可能性のある変数はたくさんあります。テストの仮説が間違っている場合は、1つを見逃すだけで済みます。

すべてが等しい場合、外部の影響がない場合、このA/Bテストの結果は正しい結果を提供します。 この位置にいることに気付いた場合は、何かを見逃したか、外部要因が結果に影響を与えるようにします。

最終的に、あなたの科学的方法に欠陥がありました。要点は、テスターとしてのあなたがそれを説明しなかったということです。

分割テストが失敗するのはなぜですか？

• あなたのペルソナは広すぎる
• サンプルサイズが小さすぎます
• あなたは間違ったことをテストしています
• テスト期間が短すぎます

上記と同じシナリオで、元の（A）（コントロール）と新しいバリエーション（B）を比較してみましょう。 この場合、結果は2つの間の変換に変化がないことを示しています。 この場合、個人的な好みなどの他の要因に基づいて、元のバージョンを保持するか、新しいバージョンに切り替えるかを決定できます。

この場合、帰無仮説（以下の定義）は正しい（誤って）と見なされます。

テストに欠陥があり、バージョンBの方がはるかに優れたオプションであったため、シナリオによって誤った決定が行われる可能性があります。 このシナリオの問題は、バージョンBの方が優れていることを決して知らない可能性が高いことです。 それは、再テストする前にエラーを排除しない限りです。

タイプ2のエラーは、帰無仮説（違いなし）が正しいと見なされる場合です–誤って。

重要性のテスト

テストを実行する前に、テストの有意水準を計算する必要があります。 ここでは、どの結果が成功を決定するかを決定しています。

一般に、これは帰無仮説に基づく必要があります。これは、2つの間に有意差がないというデフォルトの位置です。

この位置からどのような正の偏差が重要であると見なす必要がありますか？ 一般的なコンセンサスでは、統計的有意性が少なくとも90％、できれば95％以上になるまでテストを続けてから、それに基づいて決定を下す必要があります。つまり、結果に対する信頼度は95％を超えます。

考慮しなければならないもう1つの要因は、サンプルサイズです。 サンプルサイズが小さいほど、許容誤差が大きくなります。 これが意味するのは、コンバージョン率が高くなるにつれて、改善を測定するために必要なサンプルサイズが小さくなるということです。

このサンプルサイズ計算機をチェックして、これが何を意味するのかを理解し、A/Bテストに必要なサンプルサイズを確認してください。

• 通常、一度に1つの変更のみをA/Bテストします。
• 1か月あたりのコンバージョン数が1000未満の、トラフィックの少ない小さなウェブサイトがある場合は、A/Bテストを行わないでください。 それはあなたの時間の価値がないだけです。
• 正しいことをテストしていることを確認してください。