A/B-Tests für Starter und Chatfenster (Beta)

Welche Beschriftung am Starter bringt mehr Gespräche? Wirkt eine Seitenleiste besser als ein schwebendes Fenster? Mit A/B-Tests zeigst du verschiedenen Besuchern verschiedene Varianten und misst, welche besser abschneidet.

A/B-Tests sind als Beta gekennzeichnet. Du findest sie im Seitenmenü unter Einrichtung → A/B-Tests, Adresse /app/ab. Sie gelten für den ganzen Workspace, jeder Test gehört zu einem Projekt. Anlegen und Ändern braucht das Recht, das Projekt zu ändern.

Was du testen kannst

Unter Was wird getestet? wählst du Starter, Chatfenster oder beides. Je Variante kannst du ändern:

• Farben – Primärfarbe, Akzent, Hintergrund, Blasenfläche, Schrift, Nebentext, Linien, dazu Eckenradius und Schrift.
• Starter – Form, Größe, Größe auf dem Handy, Beschriftung, Unterzeile, Anzeige, Symbol.
• Stil – alle Schalter aus Chatfenster, etwa Fenstergröße, Seitenleiste, Hintergrund oder Animation.
• Texte – Beschriftung und Unterzeile des Starters (launcher.text, launcher.subtext), Begrüßung und Einstieg der Startseite (home.greeting, home.start, home.start_sub), Titel und Unterzeile im Kopf (header.title, header.subtitle_online). Je Text höchstens 300 Zeichen.

Was eine Variante nicht ändert, bleibt wie im Projekt eingestellt.

Einen Test anlegen

Unter /app/ab/new:

• Name (höchstens 120 Zeichen) und Hypothese (höchstens 1000 Zeichen) – was du erwartest und warum.
• Varianten – 2 bis 5, A bis E. A ist immer die Kontrolle, also dein Projekt unverändert. Variantennamen höchstens 60 Zeichen.
• Gewichte – Anteil je Variante von 0 bis 100, zusammen 100. A muss größer als 0 sein.
• Teilnehmende Besucher – 1 bis 100 % deiner Besucher.
• Gerät – alle, nur Desktop oder nur Handy.
• Sprachen – bis zu 20, leer heißt alle.
• Seiten – bis zu 20 Muster für „nur auf“ und „nicht auf“, je höchstens 200 Zeichen. „Nicht“ schlägt „nur“.
• Hauptmetrik – woran der Erfolg gemessen wird:
• open – Anteil der Besucher, die den Chat öffnen. Die direkte Wirkung des Starters.
• msg – Anteil der Besucher, die eine Nachricht schreiben.
• lead – Anteil der Besucher, die einen Kontakt (E-Mail) hinterlassen.
• goal – Anteil der Besucher, die dein eigenes Ziel erreichen (siehe unten).
• csat – Anteil positiver Bewertungen (Daumen hoch).
• Kleinster nachweisbarer Effekt – 1 bis 100 %, Vorgabe 10 %. Daraus rechnet das Konto die nötige Stichprobe.
• Ende – ein Enddatum oder eine Zahl an Besuchern.
• Bei eindeutigem Ergebnis automatisch beenden – frühestens nach 7 Tagen und erst, wenn die nötige Stichprobe erreicht ist.
• Gewinnerin automatisch als Projektmarke übernehmen – die siegreiche Variante wird zur Einstellung deines Projekts.

Varianten lassen sich nur im Entwurf ändern. Je Projekt läuft höchstens ein Test gleichzeitig (laufend oder pausiert). Nach dem Start kommt der Test innerhalb einer Minute bei deinen Besuchern an.

Wer welche Variante sieht

Die Zuteilung geschieht auf dem Server und ist für jeden Besucher fest: Wer einmal Variante B gesehen hat, sieht beim nächsten Besuch wieder B.

Nicht am Test teil nehmen Seiten, deren Schnipsel eine eigene Marke trägt, also ein data-rc-brand mit mehr als Farbe, Radius, Form und Größe des Starters. Siehe Farben, Schrift und Thema. Steht die Einwilligung im Projekt auf Pflicht, wird ohne Zustimmung des Besuchers nichts gezählt.

Eine Variante gezielt ansehen

Häng ?rc_ab=B an die Adresse einer Seite, auf der das Widget läuft, um Variante B zu sehen. Dabei wird nichts gezählt.

https://www.example.com/preise?rc_ab=B

Eigenes Ziel melden

Für die Hauptmetrik goal meldest du das Ziel aus deiner Seite, etwa auf der Danke-Seite nach einem Kauf:

ReactiveChat('abGoal');

Welche Variante ein Besucher sieht, fragst du so ab, etwa um sie an dein eigenes Analysewerkzeug weiterzugeben:

var v = ReactiveChat('abVariant');   // { test, variant, qa } oder null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Läuft dein Code womöglich, bevor das Widget geladen ist, setzt du die Warteschlangen-Zeile aus der Technischen Integration davor.

Auswertung

Unter /app/ab/{id}/results siehst du je Variante:

• die Rate der Hauptmetrik und aller anderen Metriken,
• den Unterschied zur Kontrolle A mit 95-%-Konfidenzintervall,
• p-Werte, bei mehreren Varianten mit Bonferroni-Korrektur,
• die Wahrscheinlichkeit, die beste Variante zu sein,
• eine Prüfung, ob die Verteilung der Besucher zu den Gewichten passt,
• die nötige Stichprobe bei 80 % Teststärke.

Die Zahlen lassen sich als CSV herunterladen (/app/ab/{id}/csv).

Wenn ein Test keine Daten sammelt

• Läuft er? Nur ein Test je Projekt kann laufen.
• Passt die Seite? Prüfe Gerät, Sprache und Seitenmuster.
• Eigene Marke im Schnipsel? Dann nimmt die Seite nicht teil.
• Einwilligung auf „Pflicht“? Ohne Zustimmung wird nicht gezählt.
• Aufruf mit ?rc_ab=…? Diese Aufrufe zählen absichtlich nicht.