當 A/B 測試不值得時

對於像你我這樣的營銷極客來說，沒有什麼比 A/B 測試更能讓人熱血沸騰了。 他們跑得很快，看到結果非常令人滿意。一旦我們開始，我們就開始比賽了，很難想像沒有比賽我們是怎麼做到的。 如果我們能在所有事情上做到這一點：一次玩兩個我們重大的人生決定，看看哪些選擇是正確的。

但如果不仔細考慮，A/B 測試實際上只會浪費我們寶貴的時間。 以下是如何充分利用 A/B 測試。

什麼是 A/B 測試？ 它是如何工作的？

A/B 測試允許您測試體驗或消息以查看是否可以改進。 在 A/B 測試中，您向用戶展示了網站、應用程序或功能的兩個版本（版本 A 與 B）。 無論您跟踪什麼指標，表現最好的版本都會獲勝。

幾乎可以測試任何東西：按鈕、字體、號召性用語、編輯內容樣式，甚至是滾動速度等下一級細節，只需將一個版本放在第一組用戶面前，通常是控件 (A)，以及第二組用戶面前的變體（B）。 流量盡可能隨機化，因此您要測試的唯一變體是變體 B 中更改的變體。您可以測試多個變量和/或多個變體，這稱為多變量測試，這是另一天的主題。

使用 A/B 測試來檢驗假設

使用 A/B 測試來測試主觀想法，了解如何使用客觀的、基於數據的證據來解決問題，以確認這些想法是否合理。

做得好，A/B 測試遵循基本配方。 從你想解決的問題開始。 也許您有數據或用戶研究表明存在問題，或者只是從您的產品和受眾的知識中得出的明智的預感。

接下來，制定一個假設，確定什麼似乎是解決您的問題的最佳方法。 然後，運行您的測試以收集最終證明或反駁您的假設的經驗證據。 最後，根據所學採取行動。

在開始 A/B 測試之前要注意什麼

在德托克維爾 1835 年對美國性格的研究（美國的民主）中，他寫道，在美國，“公眾輿論在非常小的問題上被劃分為千分之差”。

當然，德托克維爾可能不知道他的言論在數字和移動營銷的背景下會變得多麼相關。 有些結果根本不保證他們需要花時間去發掘。 知道什麼時候應該進行 A/B 測試，以及什麼時候可以更好地將時間花在其他地方。

不進行測試的 4 個理由

1. 不要在以下情況下進行 A/B 測試：您還沒有有意義的流量

A/B 測試已經變得如此普遍，很難想像沒有它的移動或產品開發世界。 然而，在你還沒弄濕腳踝之前就跳入測試池的深處可能是一個錯誤。

統計顯著性是檢驗中的一個重要概念。 通過測試足夠多的用戶組，您將確定普通用戶的偏好，並降低您確定的偏好實際上是抽樣錯誤的結果的可能性。

您是否看到移動是因為用戶實際上更喜歡變體而不是控件？ 或者，例如，您是否在不知不覺中將變體 A 提供給喜歡貓的人，將變體 B 提供給討厭芝士漢堡的人，這意味著您的結果實際上並沒有告訴您有關普通用戶的任何信息？ 為了防止這種抽樣錯誤，您需要一個具有統計意義的樣本量。 您如何確定您的結果是否足夠重要以值得採取行動？ 數學！

您可以先使用這個免費的 A/B 重要性計算器（或者這個，如果您願意的話）。 每個計算器都會比較您的 A/B 變體兩側的訪問者和轉化率，進行大量後端數學運算，並為您提供一個以百分比表示的“置信度”，讓您知道您的測試有沒有產生您可以自信地採取行動的結果。

測試您希望在轉化率方面產生巨大差異的東西通常可以通過較低的流量進行，但要測試小的變化，例如按鈕的顏色，您需要更大的樣本量。 如果您擔心，請在運行 A/B 測試之前使用此計算器查看您的流量是否達到應有的水平。

如果您沒有足夠的用戶來提供有意義的結果，那麼您的努力可能會更好地用於吸引更多客戶而不是進行試驗。 如果您決定在您的用戶群還很小的情況下繼續運行測試，您可能需要讓您的測試運行數週才能看到有意義的結果。

2. 如果出現以下情況，不要進行 A/B 測試：你不能安全地花時間

Brainscape 的創始人兼首席執行官、TechStars 和 General Assembly 的講師Andrew Cohen說： “無論 A/B 測試插件......變得多麼便宜和高效，執行拆分測試只是一項管理密集型任務。 有人需要花時間確定要測試的內容、設置測試以及驗證和實施測試結果。”

科恩解釋說，儘管這些任務可以相對輕鬆地執行，但它仍然需要大量的“精神帶寬，這是任何公司（尤其是早期創業公司）最稀缺的資源。”

花時間預先決定你應該測試什麼，這樣你就可以充分利用你的 A/B 測試時間。

3. 在以下情況下不要進行 A/B 測試：你還沒有一個有根據的假設

收集信息。 找出你的問題。 定義一個假設。 然後測試一下你是否正確。 將 A/B 測試視為真正的科學！ 一個好的科學家永遠不會在沒有假設的情況下開始實驗。

要定義您的假設，了解您要解決的問題，並確定轉換目標。 例如，假設您的客戶傾向於在轉化漏斗中的某個時間點離開。

問題：客戶將商品裝入購物車，但從未完成購買過程。

根據一些市場調查和您自己的明智判斷，您相信如果添加一個“完成我的購買”按鈕，您將能夠提高轉化率。 定義成功指標也很重要。 您樂於看到的最小轉化率增長是多少？ （為什麼是這個數字？贏得這一增長對您的整個企業意味著什麼？）這也與您的統計顯著性計算有關。 對於此示例，假設您希望將轉化率提高 20%。

科學假設通常以 if/then 格式編寫。 所以你的假設變成了，“如果我添加一個‘完成我的購買’按鈕，那麼將有 20% 的人完成購買過程。”

在測試結束時，您將做出一些決定。 如果您的測試是陽性並證實了您的假設，那麼恭喜！ 你贏了。 您的假設現在是一個經過驗證的理論（當然，在您達到的百分比置信水平內得到證明）。 如果您的業務足夠敏捷，您可以立即制定永久性解決方案。 您可能希望繼續測試較小的變體，看看您的第一次成功是否還有更多改進空間。

如果您的測試是否定的，並且您的假設沒有達到目標，那麼您也贏了！ 這意味著您的控制是製勝法寶，您可以放心地繼續使用它。 但是，如果您沒有得到所需的結果，您可能希望測試不同的變體。 看看是否有另一種方法可以解決你的問題，並提出一個新的假設。

如果您的測試沒有結果，請重新審視您的問題。 你確定痛點在你認為的地方嗎？ 您是否有足夠的流量來提供具有統計意義的結果？ 請記住，您的產品問題的答案可能不一定在 A/B 測試中。

4. 在以下情況下不要進行 A/B 測試：立即採取行動的風險很低

Apptimize 營銷主管Lynn Wang說：“如果您知道某個想法幾乎可以肯定會改進您的應用程序並且與......實施該想法相關的風險很低，則應該跳過 A/B 測試。” 她補充說：“沒有理由花時間和資源來測試可能是好的且風險低的東西。 立即實施是完全可取的。”

如果您的時間稀缺，記住這一點特別有用。 請記住，給定的結果可能是正確的，同時它可能並不重要。

一個好的工具只與它的智能應用程序一樣有用

A/B 測試是一種不可思議的資源。 基於廣泛應用的測試的明確結果採取的智能、簡單的行動已經在整個數字領域取得了成功。 成功的企業知道何時該耐心等待，並進行有意義的測試。 他們也知道什麼時候應該依靠他們的直覺或其他信息來源，並在沒有長期或過早測試期的所謂安全網的情況下前進，實際上不會增加任何價值。