A/B testy tlačítka chatu a okna chatu (beta)

Který popisek tlačítka chatu přinese více konverzací? Funguje boční panel lépe než plovoucí okno? Pomocí A/B testů zobrazujete různým návštěvníkům různé varianty a měříte, která si vede lépe.

A/B testy jsou označené jako Beta. Najdete je v postranní nabídce v části Nastavení → A/B testy, adresa /app/ab. Platí pro celý pracovní prostor; každý test patří jednomu projektu. Vytváření a změny testů vyžadují oprávnění upravovat projekt.

Co můžete testovat

V části Co se testuje? vyberete Tlačítko chatu, Okno chatu nebo obojí. Pro každou variantu můžete změnit:

• Barvy – primární barvu, akcent, pozadí, plochu bublin, text, vedlejší text, čáry a také zaoblení rohů a písmo.
• Tlačítko chatu – tvar, velikost, velikost na telefonech, popisek, druhý řádek, zobrazení, ikonu.
• Styl – všechny přepínače z části Okno chatu, například velikost okna, boční panel, pozadí nebo animaci.
• Texty – popisek a druhý řádek tlačítka chatu (launcher.text, launcher.subtext), pozdrav a vstupní bod úvodní obrazovky (home.greeting, home.start, home.start_sub), nadpis a druhý řádek záhlaví (header.title, header.subtitle_online). Nejvýše 300 znaků na text.

Vše, co varianta nemění, zůstává podle nastavení projektu.

Vytvoření testu

Na adrese /app/ab/new:

• Název (nejvýše 120 znaků) a Hypotéza (nejvýše 1000 znaků) – co očekáváte a proč.
• Varianty – 2 až 5, A až E. A je vždy kontrola, tedy váš projekt beze změny. Názvy variant nejvýše 60 znaků.
• Váhy – podíl pro každou variantu od 0 do 100, v součtu 100. A musí být větší než 0.
• Zúčastnění návštěvníci – 1 až 100 % vašich návštěvníků.
• Zařízení – všechna, pouze počítače nebo pouze mobily.
• Jazyky – až 20; prázdné znamená všechny.
• Stránky – až 20 vzorů pro „jen na“ a dalších 20 pro „ne na“, každý nejvýše 200 znaků. „Ne“ má přednost před „jen“.
• Hlavní metrika – podle čeho se měří úspěch:
• open – podíl návštěvníků, kteří otevřou chat. Přímý účinek tlačítka chatu.
• msg – podíl návštěvníků, kteří napíšou zprávu.
• lead – podíl návštěvníků, kteří zanechají kontaktní údaje (e-mail).
• goal – podíl návštěvníků, kteří dosáhnou vašeho vlastního cíle (viz níže).
• csat – podíl kladných hodnocení (palec nahoru).
• Nejmenší rozpoznatelný efekt – 1 až 100 %, výchozí 10 %. Z toho účet vypočítá potřebný vzorek.
• Konec – datum ukončení nebo počet návštěvníků.
• Automaticky ukončit při jasném výsledku – nejdříve po 7 dnech a až po dosažení potřebného vzorku.
• Automaticky použít vítěze pro značku projektu – vítězná varianta se stane nastavením vašeho projektu.

Varianty lze měnit pouze v Konceptu. Pro každý projekt běží současně nejvýše jeden test (spuštěný nebo pozastavený). Po spuštění se test dostane k návštěvníkům do jedné minuty.

Kdo vidí kterou variantu

Přiřazení probíhá na serveru a je pro každého návštěvníka pevné: kdo jednou viděl variantu B, uvidí B i při další návštěvě.

Stránky, jejichž vkládací kód obsahuje vlastní značku, tedy data-rc-brand s více než barvou, zaoblením a tvarem a velikostí tlačítka chatu, se testu neúčastní. Viz Barvy, písmo a motiv. Pokud je souhlas v projektu nastaven jako povinný, bez souhlasu návštěvníka se nic nepočítá.

Zobrazení konkrétní varianty

Přidejte ?rc_ab=B do adresy stránky, na které widget běží, a uvidíte variantu B. Při tomto zobrazení se nic nepočítá.

https://www.example.com/preise?rc_ab=B

Oznámení vlastního cíle

Pro hlavní metriku goal oznamujete dosažení cíle ze své stránky, například na děkovací stránce po nákupu:

ReactiveChat('abGoal');

Takto zjistíte, kterou variantu návštěvník vidí, například pro předání vlastnímu analytickému nástroji:

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Pokud se váš kód může spustit před načtením widgetu, přidejte před něj řádek pro frontu z části Technická integrace.

Výsledky

Na adrese /app/ab/{id}/results uvidíte pro každou variantu:

• míru hlavní metriky i všech ostatních metrik,
• rozdíl oproti kontrole A s 95% intervalem spolehlivosti,
• p-hodnoty s Bonferroniho korekcí při více variantách,
• pravděpodobnost, že jde o nejlepší variantu,
• kontrolu, zda rozdělení návštěvníků odpovídá vahám,
• potřebný vzorek při 80% síle testu.

Údaje lze stáhnout jako CSV (/app/ab/{id}/csv).

Když test nesbírá data

• Je spuštěný? Pro každý projekt může běžet jen jeden test.
• Odpovídá stránka? Zkontrolujte zařízení, jazyk a vzory stránek.
• Vlastní značka ve vkládacím kódu? Pak se stránka neúčastní.
• Souhlas nastavený jako „povinný“? Bez souhlasu se nic nepočítá.
• Volání s ?rc_ab=…? Tato volání se záměrně nepočítají.