Când testarea A/B nu merită

Pentru tociștii de marketing ca tine și mine, nimic nu duce sângele să curgă ca un test A/B. Ei sunt rapid să alerge și este profund satisfăcător să urmărești fluxul de rezultate. Odată ce am început, plecăm la curse și este greu de imaginat cum ne-am descurcat vreodată fără. Dacă am putea face asta cu toate: jucați două role din marile noastre decizii de viață deodată pentru a vedea care sunt alegerile potrivite.

Dar fără o analiză atentă, testarea A/B poate deveni de fapt o pierdere a timpului nostru prețios. Iată cum să profitați la maximum de testarea A/B.

Ce este testarea A/B? Cum functioneazã?

Testarea A/B vă permite să testați o experiență sau un mesaj pentru a vedea dacă poate fi îmbunătățit. Într-un test A/B, prezentați utilizatorilor două versiuni ale unui site, aplicație sau caracteristică (versiunea A vs. B). Versiunea care are cele mai bune performanțe, indiferent de valoarea pe care o urmăriți, câștigă.

Se poate testa aproape orice: butoane, fonturi, îndemnuri, stiluri de conținut editorial și chiar detalii de nivel următor, cum ar fi viteza de defilare, plasând o versiune în fața primului set de utilizatori, de obicei controlul (A) și o variantă (B) în fața unui al doilea set de utilizatori. Traficul este randomizat cât mai mult posibil, așa că singura variantă pe care o testați este cea schimbată în varianta B. Puteți testa mai multe variabile și/sau mai multe variante și aceasta este cunoscută sub numele de testare multivariată, un subiect pentru altă zi.

Utilizați testarea A/B pentru a testa o ipoteză

Utilizați testarea A/B pentru a testa idei subiective despre cum să rezolvați o problemă cu dovezi obiective, bazate pe date, care vor confirma dacă ideile sunt corecte.

Făcută bine, testarea A/B urmează o rețetă de bază. Începeți cu o problemă pe care doriți să o rezolvați. Poate că aveți date sau cercetări despre utilizatori care sugerează că există o problemă sau doar o bănuială informată derivată din cunoștințele despre produsul și publicul dvs.

Apoi, dezvoltați o ipoteză care identifică ceea ce pare a fi cea mai bună soluție la problema dvs. Apoi, rulați testul pentru a aduna dovezi empirice care, în cele din urmă, vă vor dovedi sau infirma ipoteza. În cele din urmă, luați măsuri pe baza a ceea ce ați învățat.

La ce să fii atent înainte de a te lansa într-un test A/B

În studiul lui De Tocqueville din 1835 despre caracterul american ( Democrația în America ), el a scris că în SUA, „opinia publică este împărțită în o mie de nuanțe de diferență în privința unor chestiuni de foarte puțină importanță”.

De Tocqueville, desigur, nu ar fi putut avea idee cât de relevante ar putea deveni remarcile sale în contextul marketingului digital și mobil. Unele rezultate pur și simplu nu garantează timpul necesar pentru a descoperi. Aflați când este timpul să faceți un test A/B și când timpul dvs. poate fi petrecut mai bine în altă parte.

4 motive pentru a nu rula un test

1. Nu testați A/B când: încă nu aveți trafic semnificativ

Testarea A/B a devenit atât de omniprezentă, încât este greu de imaginat lumea mobilă sau a dezvoltării de produse fără ea. Cu toate acestea, să sari în capătul adânc al bazinului de testare înainte de a-ți uda gleznele ar putea fi o greșeală.

Semnificația statistică este un concept important în testare. Testând un grup suficient de mare de utilizatori, veți determina ce preferă utilizatorul mediu și veți face mai puțin probabil ca preferința pe care o identificați să fie de fapt rezultatul unei erori de eșantionare.

Ați văzut mișcare pentru că utilizatorii preferă de fapt varianta controlului? Sau, de exemplu, ați servit fără să știți Varianta A persoanelor care iubesc pisicile și Varianta B persoanelor care urăsc cheeseburgerii, ceea ce înseamnă că rezultatele dvs. nu vă spun nimic despre utilizatorul dvs. obișnuit? Pentru a vă proteja împotriva acestui tip de eroare de eșantionare, aveți nevoie de o dimensiune a eșantionului semnificativă statistic. Cum îți dai seama dacă rezultatele tale sunt suficient de semnificative pentru a justifica acțiuni? Matematică!

Puteți începe prin a utiliza acest calculator gratuit de semnificație A/B ( sau acesta , dacă preferați). Fiecare calculator compară vizitatorii și conversia de pe ambele părți ale variantei dvs. A/B, face o mulțime de calcule de bază și vă oferă un „nivel de încredere” exprimat ca procent, anunțându-vă că testul dvs. fie a dat rezultate sau nu. rezultate asupra cărora puteți acționa cu încredere.

Testarea a ceva despre care vă așteptați să facă o diferență enormă în rata de conversie este de obicei posibilă cu un trafic mai mic, dar pentru a testa modificări mici, cum ar fi culoarea unui buton, veți avea nevoie de o dimensiune mai mare a eșantionului. Dacă sunteți îngrijorat, jucați-vă cu acest calculator pentru a vedea dacă traficul dvs. este acolo unde ar trebui să fie înainte de a efectua un test A/B.

Dacă nu aveți suficienți utilizatori pentru a informa rezultate semnificative, eforturile dvs. ar putea fi mai bine cheltuite pentru a atrage mai mulți clienți în loc să experimentați. Dacă decideți să continuați și să efectuați un test în timp ce baza dvs. de utilizatori este încă mică, poate fi necesar să lăsați testul live timp de mai multe săptămâni înainte de a vedea rezultate semnificative.

2. Nu testați A/B dacă: nu puteți petrece timpul în siguranță

Andrew Cohen, fondator și CEO al Brainscape și instructor la TechStars și General Assembly, spune : „ Efectuarea testelor împărțite este pur și simplu o sarcină de management intensiv , indiferent cât de ieftine și eficiente au devenit pluginurile de testare A/B.... Cineva trebuie să-și dedice timpul pentru a determina ce să testeze, pentru a configura testul și pentru a verifica și implementa rezultatele testului.”

Deși aceste sarcini pot fi executate cu relativă ușurință, explică Cohen, totuși necesită multă „lățime de bandă mentală, care este cea mai puțină resursă din orice companie (în special o pornire în stadiu incipient)”.

Petreceți timp înainte de a decide ce ar trebui să testați, astfel încât să utilizați cât mai bine timpul de testare A/B.

3. Nu testați A/B dacă: nu aveți încă o ipoteză informată

Adună informații. Identificați-vă problema. Definiți o ipoteză. Apoi testează pentru a vedea dacă ai dreptate. Tratează testul A/B ca pe o știință adevărată! Un om de știință bun nu începe niciodată un experiment fără o ipoteză .

Pentru a vă defini ipoteza, cunoașteți problema pe care doriți să o rezolvați și identificați un obiectiv de conversie. De exemplu, să presupunem că clienții dvs. tind să scadă la un anumit punct în canalul de conversie.

Problema: clienții încarcă articole în coșul lor, dar nu termină niciodată procesul de cumpărare.

Pe baza unor cercetări de piață și a propriei opinii bine informate, credeți că dacă adăugați un buton care spune „termină achiziția”, vei putea crește conversia. De asemenea, este important să vă definiți valoarea succesului. Care este cea mai mică creștere a conversiei pe care ați fi bucuroși să o vedeți? (Și de ce acest număr? Ce înseamnă pentru afacerea dvs. în ansamblu să câștige această creștere?) Acest lucru se leagă și de calculele dvs. de semnificație statistică. Pentru acest exemplu, să presupunem că doriți să creșteți conversia cu 20%.

O ipoteză științifică este de obicei scrisă în format if/then. Așadar, ipoteza ta devine „ Dacă adaug un buton „termină achiziția”, atunci cu 20% mai mulți oameni vor continua procesul de cumpărare.”

La sfârșitul testului, veți avea câteva decizii de luat. Dacă testul tău este pozitiv și îți confirmă ipoteza, felicitări! Ai castigat. Ipoteza ta este acum o teorie dovedită (demonstrată în cadrul nivelului de încredere procentual pe care l-ai atins, desigur). Dacă afacerea ta este suficient de agilă, poți institui imediat o soluție permanentă. Poate doriți să continuați să testați variante mai mici pentru a vedea dacă există mai mult loc de îmbunătățit la primul succes.

Daca testul tau este negativ, iar ipoteza ta nu a dat lovitura, vei castiga si tu! Aceasta înseamnă că controlul tău este formula câștigătoare și o poți continua să o folosești cu încredere. Din nou, totuși, poate doriți să testați diferite variante dacă nu obțineți rezultatele de care aveți nevoie. Vedeți dacă există o altă modalitate de a vă rezolva problema și dezvoltați o nouă ipoteză.

Dacă testul dvs. este neconcludent, revizuiți problema. Ești sigur că punctul dureros este acolo unde crezi că este? Aveți suficient trafic pentru a informa rezultate semnificative statistic? Amintiți-vă că răspunsul la ceea ce vă afectează produsul poate să nu fie neapărat într-un test A/B.

4. Nu testați A/B dacă: există un risc scăzut să luați măsuri imediat

Lynn Wang , șeful de marketing la Apptimize , spune : „ Testarea A/B ar trebui să fie ignorată în situațiile în care știți că aproape sigur că o idee vă va îmbunătăți aplicația și riscurile asociate cu... implementarea ideii sunt scăzute.” Ea adaugă: „ Nu există niciun motiv pentru a cheltui timp și resurse pentru a testa ceva care probabil este bun și are risc scăzut. Trecerea la implementare este perfect recomandabilă.”

Acest lucru este util în special pentru a vă aminti dacă timpul dvs. este limitat. Rețineți că un anumit rezultat poate fi adevărat și, în același timp, poate fi lipsit de importanță.

Un instrument bun este la fel de util ca și aplicația sa inteligentă

Testarea A/B este o resursă incredibilă. Acțiunile inteligente și simple întreprinse pe baza rezultatelor clare din teste bine aplicate au catapultat succesul în peisajul digital . Afacerile de succes știu când este timpul să aibă răbdare și efectuează un test semnificativ. Ei știu, de asemenea, când să se bazeze pe intuiția lor sau pe alte surse de informații și merg mai departe fără presupusa plasă de siguranță a unei perioade de testare prelungite sau premature, care de fapt nu va adăuga nicio valoare.