A/B-tester för chattknapp och chattfönster (beta)

Vilken text på chattknappen ger fler konversationer? Fungerar en sidopanel bättre än ett flytande fönster? Med A/B-tester visar du olika varianter för olika besökare och mäter vilken som fungerar bäst.

A/B-tester är märkta som Beta. Du hittar dem i sidomenyn under Installation → A/B-tester, adress /app/ab. De gäller hela arbetsytan; varje test hör till ett projekt. För att skapa och ändra tester krävs behörighet att ändra projektet.

Vad du kan testa

Under Vad testas? väljer du Chattknapp (knapp), Chattfönster eller båda. Per variant kan du ändra:

• Färger – primärfärg, accent, bakgrund, bubbelyta, text, sekundär text, linjer samt hörnradie och typsnitt.
• Chattknapp – form, storlek, storlek på telefoner, etikett, andra rad, visning, ikon.
• Stil – alla omkopplare från Chattfönster, som fönsterstorlek, sidopanel, bakgrund eller animation.
• Texter – chattknappens etikett och andra rad (launcher.text, launcher.subtext), startskärmens hälsning och ingång (home.greeting, home.start, home.start_sub), titel och andra rad i sidhuvudet (header.title, header.subtitle_online). Högst 300 tecken per text.

Det som en variant inte ändrar förblir som det är inställt i projektet.

Skapa ett test

Under /app/ab/new:

• Namn (högst 120 tecken) och Hypotes (högst 1 000 tecken) – vad du förväntar dig och varför.
• Varianter – 2 till 5, A till E. A är alltid kontrollen, alltså ditt projekt oförändrat. Variantnamn högst 60 tecken.
• Vikter – andel per variant från 0 till 100, med summan 100. A måste vara större än 0.
• Deltagande besökare – 1 till 100 % av dina besökare.
• Enhet – alla, bara dator eller bara mobil.
• Språk – upp till 20; tomt innebär alla.
• Sidor – upp till 20 mönster vardera för ”bara på” och ”inte på”, högst 200 tecken vardera. ”Inte” går före ”bara”.
• Primärt mätvärde – vad framgång mäts med:
• open – andel besökare som öppnar chatten. Chattknappens direkta effekt.
• msg – andel besökare som skriver ett meddelande.
• lead – andel besökare som lämnar kontaktuppgifter (e-post).
• goal – andel besökare som når ditt eget mål (se nedan).
• csat – andel positiva omdömen (tummen upp).
• Minsta effekt att upptäcka – 1 till 100 %, standard 10 %. Utifrån detta beräknar kontot vilket stickprov som krävs.
• Slut – ett slutdatum eller ett antal besökare.
• Avsluta automatiskt vid ett tydligt resultat – inte före 7 dagar och bara när det nödvändiga stickprovet har uppnåtts.
• Använd vinnaren automatiskt som projektprofil – den vinnande varianten blir projektets inställning.

Varianter kan bara ändras i ett Utkast. Högst ett test åt gången körs per projekt (pågående eller pausat). Efter starten når testet besökarna inom en minut.

Vem ser vilken variant

Tilldelningen sker på servern och är fast för varje besökare: den som en gång har sett variant B ser B igen vid nästa besök.

Sidor vars kodsnutt har en egen profil, alltså data-rc-brand med mer än färg, radie samt chattknappens form och storlek, deltar inte i testet. Se Färger, typsnitt och tema. Om samtycke i projektet är inställt på obligatoriskt räknas inget utan besökarens godkännande.

Visa en bestämd variant

Lägg till ?rc_ab=B i adressen till en sida där widgeten körs för att se variant B. Inget räknas när du gör detta.

https://www.example.com/preise?rc_ab=B

Rapportera ett eget mål

För det primära mätvärdet goal rapporterar du målet från sidan, till exempel på tacksidan efter ett köp:

ReactiveChat('abGoal');

Så här kan du fråga vilken variant en besökare ser, till exempel för att skicka den vidare till ditt eget analysverktyg:

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Om din kod kan köras innan widgeten har laddats lägger du raden för kön från Teknisk integration före den.

Resultat

Under /app/ab/{id}/results ser du per variant:

• andelen för det primära mätvärdet och alla övriga mätvärden,
• skillnaden mot kontroll A med ett konfidensintervall på 95 %,
• p-värden, med Bonferroni-korrigering när det finns flera varianter,
• sannolikheten att vara den bästa varianten,
• en kontroll av om besökarfördelningen stämmer med vikterna,
• det nödvändiga stickprovet vid 80 % statistisk styrka.

Siffrorna kan laddas ned som CSV (/app/ab/{id}/csv).

Om ett test inte samlar in data

• Körs det? Bara ett test per projekt kan köras.
• Matchar sidan? Kontrollera enhet, språk och sidmönster.
• Egen profil i kodsnutten? Då deltar sidan inte.
• Samtycke inställt på ”obligatoriskt”? Utan godkännande räknas inget.
• Öppnat med ?rc_ab=…? Dessa anrop räknas avsiktligt inte.