A/B-tests voor chatknop en chatvenster (bèta)

Welk opschrift op de chatknop levert meer gesprekken op? Werkt een zijpaneel beter dan een zwevend venster? Met A/B-tests toont u verschillende bezoekers verschillende varianten en meet u welke beter presteert.

A/B-tests zijn gemarkeerd als Bèta. U vindt ze in het zijmenu onder Instellen → A/B-tests, op /app/ab. Ze gelden voor de hele werkruimte; elke test hoort bij één project. Voor het maken en wijzigen van tests is het recht nodig om het project te wijzigen.

Wat u kunt testen

Onder Wat wordt getest? kiest u Chatknop (knop), Chatvenster of beide. Per variant kunt u wijzigen:

• Kleuren – primaire kleur, accentkleur, achtergrond, oppervlak van tekstballonnen, tekst, secundaire tekst, lijnen, plus hoekradius en lettertype.
• Chatknop – vorm, grootte, grootte op telefoons, opschrift, tweede regel, weergave, pictogram.
• Stijl – alle schakelaars uit Chatvenster, zoals venstergrootte, zijpaneel, achtergrond of animatie.
• Teksten – opschrift en tweede regel van de chatknop (launcher.text, launcher.subtext), begroeting en ingang op het startscherm (home.greeting, home.start, home.start_sub), titel en tweede regel in de kopbalk (header.title, header.subtitle_online). Maximaal 300 tekens per tekst.

Wat een variant niet wijzigt, blijft zoals het in het project is ingesteld.

Een test maken

Onder /app/ab/new:

• Naam (maximaal 120 tekens) en Hypothese (maximaal 1000 tekens) – wat u verwacht en waarom.
• Varianten – 2 tot 5, A tot E. A is altijd de controle, dus uw ongewijzigde project. Variantnamen mogen maximaal 60 tekens lang zijn.
• Gewichten – aandeel per variant van 0 tot 100, samen 100. A moet groter zijn dan 0.
• Deelnemende bezoekers – 1 tot 100% van uw bezoekers.
• Apparaat – alle, alleen desktop of alleen mobiel.
• Talen – maximaal 20; leeg betekent alle talen.
• Pagina's – maximaal 20 patronen voor zowel ‘alleen op’ als ‘niet op’, elk maximaal 200 tekens. ‘Niet’ gaat vóór ‘alleen’.
• Hoofdmeting – waarmee succes wordt gemeten:
• open – aandeel bezoekers dat de chat opent. Het directe effect van de chatknop.
• msg – aandeel bezoekers dat een bericht schrijft.
• lead – aandeel bezoekers dat contactgegevens (e-mail) achterlaat.
• goal – aandeel bezoekers dat uw eigen doel bereikt (zie hieronder).
• csat – aandeel positieve beoordelingen (duim omhoog).
• Kleinste te detecteren effect – 1 tot 100%, standaard 10%. Hiermee berekent uw account de vereiste steekproef.
• Einde – een einddatum of een aantal bezoekers.
• Automatisch beëindigen bij een duidelijk resultaat – niet vóór 7 dagen en pas als de vereiste steekproef is bereikt.
• De winnaar automatisch toepassen op het merk van het project – de winnende variant wordt de instelling van uw project.

Varianten kunnen alleen in een Concept worden gewijzigd. Per project kan maximaal één test tegelijk actief zijn (lopend of gepauzeerd). Na het starten bereikt de test uw bezoekers binnen een minuut.

Wie welke variant ziet

De toewijzing gebeurt op de server en staat per bezoeker vast: wie eenmaal variant B heeft gezien, ziet bij het volgende bezoek opnieuw B.

Pagina's waarvan het fragment een eigen merk bevat, dus een data-rc-brand met meer dan kleur, radius en vorm en grootte van de chatknop, doen niet mee aan de test. Zie Kleuren, lettertype en thema. Als toestemming in het project op verplicht staat, wordt zonder instemming van de bezoeker niets geteld.

Een specifieke variant bekijken

Voeg ?rc_ab=B toe aan het adres van een pagina waarop de widget actief is om variant B te zien. Daarbij wordt niets geteld.

https://www.example.com/preise?rc_ab=B

Uw eigen doel melden

Voor de hoofdmeting goal meldt u het doel vanaf uw pagina, bijvoorbeeld op de bedankpagina na een aankoop:

ReactiveChat('abGoal');

Zo kunt u opvragen welke variant een bezoeker ziet, bijvoorbeeld om die door te geven aan uw eigen analysetool:

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Als uw code kan worden uitgevoerd voordat de widget is geladen, zet u de wachtrijregel uit Technische integratie ervoor.

Resultaten

Onder /app/ab/{id}/results ziet u per variant:

• het percentage voor de hoofdmeting en alle andere metingen,
• het verschil met controle A met een betrouwbaarheidsinterval van 95%,
• p-waarden, met Bonferroni-correctie bij meerdere varianten,
• de kans om de beste variant te zijn,
• een controle of de verdeling van bezoekers overeenkomt met de gewichten,
• de vereiste steekproef bij een onderscheidingsvermogen van 80%.

De cijfers kunnen als CSV worden gedownload (/app/ab/{id}/csv).

Als een test geen gegevens verzamelt

• Loopt de test? Per project kan slechts één test lopen.
• Komt de pagina overeen? Controleer apparaat, taal en paginapatronen.
• Eigen merk in het fragment? Dan doet de pagina niet mee.
• Toestemming op ‘verplicht’? Zonder instemming wordt niets geteld.
• Opgeroepen met ?rc_ab=…? Deze aanroepen tellen bewust niet mee.