Testy A/B przycisku czatu i okna czatu (beta)

Która etykieta na przycisku czatu daje więcej rozmów? Czy panel boczny działa lepiej niż pływające okno? Testami A/B pokazujesz różnym odwiedzającym różne warianty i mierzysz, który wypada lepiej.

Testy A/B są oznaczone jako beta. Znajdziesz je w menu bocznym w sekcji Konfiguracja → Testy A/B, pod adresem /app/ab. Dotyczą całej przestrzeni roboczej, a każdy test należy do jednego projektu. Tworzenie i zmiany wymagają uprawnienia do zmiany projektu.

Co możesz testować

W polu Co testujemy? wybierasz Przycisk (launcher), Okno czatu albo Przycisk i okno. W każdym wariancie możesz zmienić:

• Kolory – kolor główny, akcent, tło, powierzchnię dymków, tekst, tekst pomocniczy, linie, a do tego promień narożników i czcionkę.
• Przycisk (launcher) – kształt, rozmiar, rozmiar mobilny, napis, drugą linię, wyświetlanie, ikonę.
• Okno czatu – wszystkie przełączniki z Okno czatu, np. rozmiar okna, panel boczny, tło albo animację.
• Teksty – etykietę i drugą linię przycisku czatu (launcher.text, launcher.subtext), powitanie i wejście na stronie startowej (home.greeting, home.start, home.start_sub), tytuł i drugą linię w nagłówku (header.title, header.subtitle_online). Najwyżej 300 znaków na tekst.

Czego wariant nie zmienia, zostaje tak, jak ustawiono w projekcie.

Tworzenie testu

Pod /app/ab/new:

• Nazwa (najwyżej 120 znaków) i Hipoteza (najwyżej 1000 znaków) – czego się spodziewasz i dlaczego.
• Warianty – od 2 do 5, od A do E. A jest zawsze kontrolą, czyli twoim projektem bez zmian. Nazwy wariantów najwyżej 60 znaków.
• Udział (%) – udział każdego wariantu od 0 do 100, razem 100. A musi mieć udział większy niż 0.
• Uczestniczący odwiedzający (%) – od 1 do 100% twoich odwiedzających.
• Urządzenie – wszystkie urządzenia, tylko desktop albo tylko urządzenia mobilne.
• Języki – do 20, puste pole oznacza wszystkie.
• Strony – do 20 wzorców dla „tylko na” i „nie na”, każdy najwyżej 200 znaków. „Nie na” wygrywa z „tylko na”.
• Główna metryka – po czym mierzony jest sukces:
• open – odsetek odwiedzających, którzy otwierają czat. Bezpośredni efekt przycisku czatu.
• msg – odsetek odwiedzających, którzy piszą wiadomość.
• lead – odsetek odwiedzających, którzy zostawiają kontakt (e-mail).
• goal – odsetek odwiedzających, którzy osiągają twój własny cel (zob. niżej).
• csat – odsetek pozytywnych ocen (kciuk w górę).
• Najmniejszy efekt do wykrycia (%) – od 1 do 100%, domyślnie 10%. Na tej podstawie konto oblicza potrzebną wielkość próby.
• Koniec – data zakończenia albo liczba odwiedzających.
• Zakończ automatycznie przy jednoznacznym wyniku – najwcześniej po 7 dniach i dopiero wtedy, gdy osiągnięto potrzebną wielkość próby.
• Automatycznie przejmij zwycięzcę jako markę projektu – zwycięski wariant staje się ustawieniem twojego projektu.

Warianty można zmieniać tylko w szkicu. W jednym projekcie może jednocześnie działać najwyżej jeden test (trwający albo wstrzymany). Po uruchomieniu test dociera do twoich odwiedzających w ciągu minuty.

Kto widzi który wariant

Przydział odbywa się na serwerze i jest stały dla każdego odwiedzającego: kto raz zobaczył wariant B, przy następnej wizycie znów zobaczy B.

W teście nie biorą udziału strony, których fragment osadzenia zawiera własną markę, czyli data-rc-brand z czymś więcej niż kolor, promień oraz kształt i rozmiar przycisku czatu. Zob. Kolory, czcionka i motyw. Jeśli zgoda w projekcie jest ustawiona na wymagana, bez zgody odwiedzającego nic nie jest liczone.

Podgląd konkretnego wariantu

Dodaj ?rc_ab=B do adresu strony, na której działa widget, żeby zobaczyć wariant B. Nic nie jest przy tym liczone.

https://www.example.com/preise?rc_ab=B

Zgłaszanie własnego celu

Dla głównej metryki goal zgłaszasz cel ze swojej strony, np. na stronie z podziękowaniem po zakupie:

ReactiveChat('abGoal');

Jaki wariant widzi odwiedzający, sprawdzisz tak, np. żeby przekazać go do własnego narzędzia analitycznego:

var v = ReactiveChat('abVariant');   // { test, variant, qa } albo null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Jeśli twój kod może się wykonać, zanim widget się załaduje, wstaw przed nim linijkę kolejki z Integracji technicznej.

Ocena wyników

Pod /app/ab/{id}/results zobaczysz dla każdego wariantu:

• współczynnik głównej metryki i wszystkich pozostałych metryk,
• różnicę wobec kontroli A z 95-procentowym przedziałem ufności,
• wartości p, przy kilku wariantach z poprawką Bonferroniego,
• prawdopodobieństwo, że to najlepszy wariant,
• sprawdzenie, czy rozkład odwiedzających pasuje do udziałów,
• potrzebną wielkość próby przy mocy testu 80%.

Liczby można pobrać jako CSV (/app/ab/{id}/csv).

Gdy test nie zbiera danych

• Czy trwa? W projekcie może trwać tylko jeden test.
• Czy strona pasuje? Sprawdź urządzenie, język i wzorce stron.
• Własna marka we fragmencie osadzenia? Wtedy strona nie bierze udziału.
• Zgoda ustawiona na „wymagana”? Bez zgody nic nie jest liczone.
• Wywołanie z ?rc_ab=…? Takie wywołania celowo nie są liczone.