Test A/B polega na przygotowaniu dwóch wersji różniących się jednym ważnym elementem, na przykład nagłówkiem albo ofertą. Obie wersje trzeba rozdać w podobnych warunkach i oznaczyć osobnymi kodami. Zmiana kilku rzeczy jednocześnie nie pozwala ustalić, co zadziałało.
- Jedna zmienna na test.
- Podobny nakład, rejon, termin i sposób dystrybucji.
- Ocena według zapytań i sprzedaży, nie opinii zespołu.
Wybierz element mający wpływ na decyzję
Najczęściej warto testować główną ofertę, nagłówek, wezwanie do działania albo sposób pokazania ceny. Zmiana odcienia tła ma mniejszą wartość, jeśli nie wpływa na czytelność.
Postaw hipotezę: „Nagłówek z konkretnym terminem przyniesie więcej wycen niż ogólne hasło”. Dzięki temu wiesz, czego szukasz w danych.
Zadbaj o uczciwe warunki
Wydrukuj podobną liczbę obu wersji i rozdaj je na rejonach o zbliżonym profilu. Jeśli A trafia na nowe osiedle w sobotę, a B do domów w środę, różnica nie dotyczy tylko projektu.
Każda wersja musi mieć osobny kod, link lub numer pozwalający przypisać odpowiedź.
Podejmij jedną decyzję
Nie kończ testu stwierdzeniem „wersja A była lepsza”. Zapisz, który element pozostaje w kolejnej kampanii i co będzie następnym testem. Jeżeli wynik jest bardzo mały, nie wyciągaj daleko idących wniosków.
Kiedy wynik nie daje odpowiedzi
Jeżeli obie wersje przyniosły po jednym kontakcie, różnica może być przypadkowa. Nie ogłaszaj zwycięzcy na podstawie bardzo małej próby. Zachowaj lepiej uzasadniony wariant albo powtórz test na podobnym obszarze.
Brak reakcji na obie wersje może oznaczać problem z ofertą, dystrybucją lub obsługą, nie tylko nagłówkiem. Sprawdź wykonanie kampanii, zanim przygotujesz trzeci projekt.
Przykłady zastosowania
Ta sama ulotka, ale dwa nagłówki: korzyść kontra konkretna cena.
Inny nagłówek, zdjęcie, format, oferta, rejon i termin — nie wiadomo, co wpłynęło na wynik.
Lista kontrolna
- Zapisz hipotezę.
- Zmień tylko jeden ważny element.
- Utrzymaj podobne warunki dystrybucji.
- Nadaj wersjom osobne oznaczenia.
- Oceniaj sprzedaż i koszt pozyskania.
Test A/B ma ograniczać zgadywanie. Jego wartość nie polega na stworzeniu dwóch ładnych projektów, lecz na jednej lepiej uzasadnionej decyzji.
Najczęstsze pytania
Ile ulotek potrzeba do testu?
To zależy od typowej liczby odpowiedzi. Nakład musi dać szansę na zebranie realnych kontaktów, a nie tylko kilku przypadkowych reakcji.
Czy można testować trzy wersje?
Można, ale każda potrzebuje odpowiedniego nakładu i podobnych warunków. Przy małym budżecie dwie wersje są łatwiejsze do oceny.