Test A/B per il pulsante e la finestra della chat (beta)

Quale dicitura del pulsante della chat porta più conversazioni? Un pannello laterale funziona meglio di una finestra fluttuante? Con i test A/B mostra varianti diverse a visitatori diversi e misura quale ottiene risultati migliori.

I test A/B sono contrassegnati come Beta. Li trova nel menu laterale in Configurazione → Test A/B, indirizzo /app/ab. Si applicano all’intero spazio di lavoro; ogni test appartiene a un progetto. Per creare e modificare i test occorre il permesso di modificare il progetto.

Che cosa può testare

In Che cosa viene testato? scelga Pulsante della chat (launcher), Finestra della chat o entrambi. Per ciascuna variante può modificare:

• Colori – colore primario, accento, sfondo, superficie dei fumetti, testo, testo secondario, linee, oltre a raggio degli angoli e carattere.
• Pulsante della chat – forma, dimensione, dimensione sui telefoni, dicitura, seconda riga, visualizzazione, icona.
• Stile – tutti i selettori di Finestra della chat, come dimensione della finestra, pannello laterale, sfondo o animazione.
• Testi – dicitura e seconda riga del pulsante della chat (launcher.text, launcher.subtext), saluto e punto di accesso della schermata iniziale (home.greeting, home.start, home.start_sub), titolo e seconda riga dell’intestazione (header.title, header.subtitle_online). Massimo 300 caratteri per testo.

Ciò che una variante non modifica rimane come impostato nel progetto.

Creare un test

In /app/ab/new:

• Nome (massimo 120 caratteri) e Ipotesi (massimo 1000 caratteri) – che cosa si aspetta e perché.
• Varianti – da 2 a 5, da A a E. A è sempre il controllo, cioè il Suo progetto invariato. Nomi delle varianti: massimo 60 caratteri.
• Pesi – quota di ciascuna variante da 0 a 100, con somma pari a 100. A deve essere maggiore di 0.
• Visitatori partecipanti – dall’1 al 100 % dei Suoi visitatori.
• Dispositivo – tutti, solo desktop o solo dispositivi mobili.
• Lingue – fino a 20; vuoto significa tutte.
• Pagine – fino a 20 modelli ciascuno per «solo su» e «non su», massimo 200 caratteri ciascuno. «Non» prevale su «solo».
• Metrica primaria – in base a che cosa viene misurato il successo:
• open – quota dei visitatori che aprono la chat. L’effetto diretto del pulsante della chat.
• msg – quota dei visitatori che scrivono un messaggio.
• lead – quota dei visitatori che lasciano recapiti (e-mail).
• goal – quota dei visitatori che raggiungono un Suo obiettivo (veda sotto).
• csat – quota delle valutazioni positive (pollice su).
• Effetto minimo da rilevare – dall’1 al 100 %, valore predefinito 10 %. Da questo l’account calcola il campione necessario.
• Fine – una data di fine o un numero di visitatori.
• Termina automaticamente con un risultato chiaro – non prima di 7 giorni e solo al raggiungimento del campione necessario.
• Applica automaticamente la variante vincente al marchio del progetto – la variante vincente diventa l’impostazione del Suo progetto.

Le varianti possono essere modificate solo in una Bozza. Per ciascun progetto può esserci al massimo un test attivo alla volta (in esecuzione o in pausa). Dopo l’avvio, il test raggiunge i visitatori entro un minuto.

Chi vede quale variante

L’assegnazione avviene sul server ed è fissa per ciascun visitatore: chi ha visto una volta la variante B vede di nuovo B alla visita successiva.

Le pagine il cui codice di incorporamento contiene un marchio proprio, cioè un data-rc-brand con più di colore, raggio, forma e dimensione del pulsante della chat, non partecipano al test. Veda Colori, carattere e tema. Se nel progetto il consenso è impostato come obbligatorio, senza l’accordo del visitatore non viene conteggiato nulla.

Visualizzare una variante specifica

Aggiunga ?rc_ab=B all’indirizzo di una pagina in cui è presente il widget per vedere la variante B. In questo caso non viene conteggiato nulla.

https://www.example.com/preise?rc_ab=B

Segnalare un Suo obiettivo

Per la metrica primaria goal, segnali l’obiettivo dalla Sua pagina, ad esempio sulla pagina di ringraziamento dopo un acquisto:

ReactiveChat('abGoal');

Può interrogare quale variante vede un visitatore in questo modo, ad esempio per trasmetterla al Suo strumento di analisi:

var v = ReactiveChat('abVariant');   // { test, variant, qa } or null

ReactiveChat('on', 'ab', function (e) {
  // e.test, e.variant, e.qa
});

Se il Suo codice può essere eseguito prima del caricamento del widget, anteponga la riga della coda descritta in Integrazione tecnica.

Risultati

In /app/ab/{id}/results vede per ciascuna variante:

• il tasso della metrica primaria e di tutte le altre metriche,
• la differenza rispetto al controllo A con un intervallo di confidenza del 95 %,
• i valori p, con correzione di Bonferroni in presenza di più varianti,
• la probabilità di essere la variante migliore,
• una verifica che la distribuzione dei visitatori corrisponda ai pesi,
• il campione necessario con una potenza statistica dell’80 %.

I dati possono essere scaricati come CSV (/app/ab/{id}/csv).

Se un test non raccoglie dati

• È in esecuzione? Può essere attivo un solo test per progetto.
• La pagina corrisponde? Controlli dispositivo, lingua e modelli delle pagine.
• Marchio proprio nel codice di incorporamento? In tal caso la pagina non partecipa.
• Consenso impostato come «obbligatorio»? Senza accordo non viene conteggiato nulla.
• Accesso con ?rc_ab=…? Questi accessi non vengono volutamente conteggiati.